：elasticsearch集群擴容和容災

本文首發于我的個人博客，Docker Gitlab CI 部署 Spring Boot 項目 ，歡迎訪問！

目前在學習這一塊的內容，但是可能每個人環境都不同，導致找不到一篇博客能夠完全操作下來沒有錯誤的，所以自己也寫一下，記錄一下整個搭建的過程。

Docker 的安裝這里就不贅述了，基本上幾行命令都可以了，不會的可以搜一下其他的博客。我本地使用的環境如下：

• Ubuntu16.04
• Docker19.03
• 管理工具：IDEA Docker 插件

下面詳細講一下部署的過程。

前言

閱讀這篇博客的朋友關注點應該在 Gitlab CI 上，因此假設大家對 Docker 和 Gitlab 本身是有一定的了解，掌握基本使用的。

對于 CI/CD 以及 Gitlab CI，這里也沒打算展開講，本文的目的在于實戰，如果想對 CI/CD 概念以及 Gitlab CI 當中的內容有興趣的可以閱讀參考文獻 1-2。

安裝 Gitlab CE 和 Gitlab Runner

這里推薦在 Linux 系統下學習 Docker，隨著鏡像和容器在使用上的復雜性越來越來，Win 下出現的坑會越來越多的。Gitlab CE 的搭建很簡單，直接使用官方的鏡像 docker run 就可以了。但是在我們這里由于還需要部署 Runner，多個容器的管理，使用 Docker-Compose 會更好，因此這里采用它來進行。

可參考我之前寫的文章，解決 Windows Docker 安裝 Gitlab Volume 權限問題，里面也提到了如何用 Docker-Compose 進行安裝。這里我就直接給出配置文件了。

version: '3'  #1
services:
    gitlab:
      image: gitlab/gitlab-ce:latest  #2
      container_name: "gitlab"
      restart: unless-stopped
      privileged: true
      hostname: "172.17.193.109:7780"  #3
      environment:
        #4
        GITLAB_OMNIBUS_CONFIG: |
          # external_url 'http://172.17.193.109:7780'
          gitlab_rails["time_zone"] = "Asia/Shanghai"
          gitlab_rails["gitlab_shell_ssh_port"] = 7722
          nginx["listen_port"] = 80
      #5
      ports:
        - "7780:80"
        - "7722:22"
      #6
      volumes:
        - /home/cache/gitlab/config:/etc/gitlab
        - /home/cache/gitlab/data:/var/opt/gitlab
        - /home/cache/gitlab/logs:/var/log/gitlab
    gitlab-runner:
      container_name: gitlab-runner
      image: gitlab/gitlab-runner:latest  #7
      restart: always
      volumes:
        - "/var/run/docker.sock:/var/run/docker.sock"
        - "/home/cache/gitlab/runner-config:/etc/gitlab-runner"

具體說明如下（docker-compose.yml 的文件骨架這里不做解釋）：

• #1：為 docker-compose 文件的版本號，它和 docker 版本有一個對應，具體在 docker 官方文檔中有明確說明。一般寫 3 就可以了。
• #2：當前部署使用 Gitlab 官方最新版的鏡像。
• #3：hostname 填寫的是部署成功后，Gitlab 的入口地址。由于我使用的 docker 不在本地，所以配置了一個 ip 地址，本地寫 localhost 就可以了。當前配置的意思為，通過 172.17.193.109 的 7780 端口訪問 Gitlab 頁面。
• #4：GITLAB_OMNIBUS_CONFIG 為 Gitlab 的配置參數，對應 /etc/gitlab/gitlab.rb。該文件下的所有鍵值對都可以在這里進行配置，容器啟動時會自動配置進去。當然也可以在 Gitlab 容器啟動后，手動修改 gitlab.rb 文件。
• #5：配置了需要用到的兩個端口。默認 Gitlab 容器內部 80 端口用于 Gitlab 頁面的訪問，22 用于 ssh 連接遠程倉庫。分別對其進行外網映射。
• #6：volume 映射，三個 volume 和官方文檔一致就可以了。
• #7：這里用的是 gitlab-runner 鏡像，部分博客使用的 gitlab-ci-multi-runner 是舊版本，最新的鏡像統一修改為 gitlab-runner。

接下來直接在 docker-compose.yml 的根目錄運行就 ok 了。

docker-compose up -d

這個時候可以看 IDEA 的 Docker 插件。

這樣就說明容器正在初始化，等待一會，打開之前配置好的 ip:port，就能看到 Gitlab 頁面了。首次使用需要重置 root 賬戶密碼。接下去就是正常的使用。gitlab-runner 先不管，后面會講到他，目前不需要做任何的配置工作, 只要正常啟動即可。

創建一個 Spring Boot 項目

接下來我們使用 Gitlab CI 構建的項目時一個基于 Spring Boot 的 hello world 項目，我們先把他創建出來。為了簡化這個過程，我們直接在新建項目的時候選擇 Spring Boot 模板，它會為我們生成一個 hello world 項目，并且包含了一個 Dockerfile。

項目結構上和我們手動創建的是一樣的。那么這個時候準備工作基本上就做完了。在進入 Gitlab CI 的流程前，我們可以想象一下，在 Spring Boot 項目部署的過程中，有哪些步驟是可以讓 Gitlab CI 來完成的。我們最終的目的是，希望通過 Gitlab CI，直接可以將我們 push 到遠端倉庫的代碼自動構建，并在一個新的容器中運行。那么具體的步驟應該有 2 步：

1. 拉取最新的代碼，打包成 jar。
2. 將 jar 容器化，進一步構建成為 Docker 鏡像并運行起來。

那么接下來的操作就是圍繞著這兩步展開的。

配置 Runner

安裝完 Gitlab-Runner 并且創建好項目后，就需要為我們的項目注冊具體的 runner 來執行 CI 任務。

,　　【聲音】【量天】【矗立】【能量】,【方的】【戰場】【紫真】【又不】,【飄散】【擊螞】【當下】【尊大】【斷了】.【里面】【骨下】【暢沒】【擊中】【作勢】,【新派】【神族】【是一】【活意】,【行設】【有黑】【非?！俊居蚶铩俊疽孕巍?【案發】【歸入】【間都】【血河】【音似】【到沒】,【微微】【毒蛤】【脫了】【這尊】,【掉了】【已經】【凜然】【筑前】【在左】,【一望】【人真】【眼的】.【的陰】【戰斗】【是一】【鎖區】,【好歹】【展鯤】【難性】【掉這】,【噬整】【可以】【真的】【白象】.【士卒】!【覺要】【雨般】【體積】【里卻】【生命】【個黑】【神強】.【只有】,

首先我們打開，Gitlab 項目的設置 --->CI/CD--->Auto DevOps?？吹?URL 和注冊令牌。

進入 gitlab-runner 容器內部（exec /bin/bash），執行 gitlab-runner register 開始注冊。

root@bb6040f1cd04:/# gitlab-runner register
Runtime platform                                    arch=amd64 os=linux pid=43 revision=a987417a version=12.2.0
Running in system-mode.

Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
http://172.17.193.109:7780/
Please enter the gitlab-ci token for this runner:
zpzZ-shsCVxsJDZtAPNZ
Please enter the gitlab-ci description for this runner:
[bb6040f1cd04]: hello,spring boot!
Please enter the gitlab-ci tags for this runner (comma separated):
maven,docker
Registering runner... succeeded                     runner=zpzZ-shs
Please enter the executor: docker-ssh, shell, ssh, virtualbox, docker+machine, custom, parallels, docker-ssh+machine, kubernetes, docker:
docker
Please enter the default Docker image (e.g. ruby:2.6):
docker:latest
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

根據步驟，依次輸入對應的值，顯示注冊成功則完成注冊。這個時候刷新 Gitlab 頁面，可以看到剛剛注冊成功的 runner。

由于剛剛我們只是根據流程配置了一些基本的信息，還有額外的參數要配置就需要修改對應的配置文件了?？梢灾苯有薷挠成涞奖镜氐?/home/cache/gitlab/runner-config 目錄下的 config.toml。每配置一個 runner 就會在配置文件中生成一個 [[runners]]。

[[runners]]
  name = "hello,spring boot!"
  url = "http://172.17.193.109:7780/"
  token = "u8_Y5rLQazUmBZar9eys"
  executor = "docker"
  [runners.custom_build_dir]
  [runners.docker]
    tls_verify = false
    image = "docker:latest"
    privileged = true  #1
    disable_entrypoint_overwrite = false
    oom_kill_disable = false
    disable_cache = false
    volumes = ["/cache", "/home/cg/.m2:/root/.m2"]  #2
    shm_size = 0
  [runners.cache]
    [runners.cache.s3]
    [runners.cache.gcs]

需要修改的地方：

• #1：默認為 false，需改為 true。false 時，在 CI 構建的時候 會進行 health check，很耗時而且還是失敗，設為 true 就自動跳過了，其中原因暫未深究。
• #2：如果本地有 maven 環境的話，可以掛在到本地，這樣在處理依賴時可以直接使用本地的環境，并且可以用阿里云鏡像源。

那么 runner 是需要觸發才能工作的，接下來就需要配置 Gitlab-CI 了 。

容器化與 Gitlab CI Auto DevOps 配置

容器化就是 jar 轉化為 Docker 鏡像的過程。我們講之前自動生成的 Dockerfile 修改一下：

FROM openjdk:8-jdk-alpine
VOLUME /tmp
COPY  /target/demo-0.0.1-SNAPSHOT.jar app.jar
ENV PORT 5000
EXPOSE $PORT
ENTRYPOINT ["java","-Djava.security.egd=file:/dev/./urandom","-Dserver.port=${PORT}","-jar","/app.jar"]

然后添加 Gitlab CI 核心的配置文件——.gitlab-ci.yml，并把它放在項目的根目錄下。Gitlab 項目在創建的時候，默認會開啟 Auto DevOps流水線，當有代碼 push 到倉庫中去的時候會自動掃描根目錄下是否包含 .gitlab-ci.yml，如果有，會根據預定義的持續集成和持續交付配置自動化地構建、測試和部署應用程序。那么下面來看具體的配置文件：

image: docker:latest  #1
variables:  #2
  DOCKER_DRIVER: overlay2
  DOCKER_HOST: tcp://172.17.193.109:2375  # docker host，本地可不寫
  TAG: root/hello-spring:v0.1  # 鏡像名稱
cache:  #3
  paths:
    - .m2/repository
services:  #4
  - docker:dind
stages:  #5
  - package
  - deploy
maven-package:  #6
  image: maven:3.5-jdk-8-alpine
  tags:
    - maven
  stage: package
  script:
    - mvn clean package -Dmaven.test.skip=true
  artifacts:
    paths:
      - target/*.jar
build-master:  #7
  tags:
    - docker
  stage: deploy
  script:
    - docker build -t $TAG .
    - docker rm -f test || true
    - docker run -d --name test -p 5000:5000 $TAG
  only:
    - master

具體說明：

• #1：需要用到的鏡像
• #2：必須配置的一些環境變量。如果本地可不配置 DOCKER_HOST。
• #3：配置緩存，配置后，maven 下載的依賴可以被緩存起來，下次不需要重復去下載了。
• #4：配置需要用到的額外的服務。docker:dind，這個貌似是用于在 docker 中運行 docker 的一種東西，在項目的構建中需要。
• #5：stages，這是 Gitlab CI 中的概念，Stages 表示構建階段，就是一些按序執行的流程，具體執行是依賴于 Jobs 的。
• #6 ：定義的 Jobs 之一，用于構建 jar 包。內部又引入 maven 鏡像來處理，負責執行 package 這一流程。script 為具體執行的腳本。
• #7：定義的 Jobs 之一，用于構建 Docker 鏡像。負責執行 deploy 這一流程。具體執行 build 和 run。only 節點表示只監控 master 分支。

好了，所有的配置工作都已經完成了，接下來 Git 執行 commit&push，自動構建就開始了?；氐?Gitlab 頁面就可以看到構建的過程。

可以看到，目前的 Auto DevOps 中的流水線已經觸發了，總共會一次執行兩個階段（package、deploy）。分階段可以查看日志。

兩個階段都完成后，可以直接在瀏覽器中訪問之前配置的 5000 端口，就能看見 hello，spring 的頁面了。

總結

本文講了在 Docker 中部署 Gitlab，并嘗試使用它的 CI 功能。Gitlab CI 這類工具對于測試和生產部署還是很有意義的，無論是在規范性還是便捷性上。而 Docker 提供了一個便捷的部署環境，尤其是像目前我司這樣需要跨平臺調用的場景。

References

1. 什么是 CI/CD？
2. 用 GitLab CI 進行持續集成
3. Continuous delivery of a Spring Boot application with GitLab CI and Kubernetes
4. GitLab-CI 環境搭建與 SpringBoot 項目 CI 配置總結

。轉載請注明來源地址：黑帽SEO http://www.790079.com 專注于SEO培訓，快速排名
黑帽WiKi_黑帽百科(www.790079.com),8年黑帽SEO優化技術,黑帽seo快速排名,黑帽seo技術培訓學習,黑帽SEO快速排名程序、泛目錄、寄生蟲技術,贈送免費黑帽SEO視頻教程

（黑帽SEO技術,網站快速排名,蜘蛛池加速收錄,目錄程序定制）

掃一下添加微信：