使用 Ansible 安裝部署 TiDB
一、背景知識
TiDB 作為一個分布式數據庫，在多個節點分別配置安裝服務會相當繁瑣，為了簡化操作以及方便管理，使用自動化工具來批量部署成為了一個很好的選擇。
Ansible 是基于 Python 研發的自動化運維工具，糅合了眾多老牌運維工具的優點實現了批量操作系統配置、批量程序的部署、批量運行命令等功能，而且使用簡單，僅需在管理工作站上安裝 Ansible 程序配置被管控主機的 IP 信息，被管控的主機無客戶端。基于以上原因，我們選用自動化工具 Ansible 來批量的安裝配置以及部署 TiDB。
下面我們來介紹如何使用 Ansible 來部署 TiDB。
二、TiDB 安裝環境配置如下
操作系統使用 CentOS7.2 或者更高版本，文件系統使用 EXT4。
說明：低版本的操作系統(例如 CentOS6.6 )和 XFS 文件系統會有一些內核 Bug，會影響性能，我們不推薦使用。
我們選擇使用 3 個 PD、2 個 TiDB、3 個 TiKV，這里簡單說一下為什么這樣部署。
- 對于 PD 。PD 本身是一個分布式系統，由多個節點構成一個整體，并且同時有且只有一個主節點對外提供服務。各個節點之間通過選舉算法來確定主節點，選舉算法要求節點個數是奇數個 (2n+1) ，1 個節點的風險比較高，所以我們選擇使用 3 個節點。
- 對于 TiKV 。TiDB 底層使用分布式存儲，我們推薦使用奇數 (2n+1) 個備份，掛掉 n 個備份之后數據仍然可用。使用 1 備份或者 2 備份的話，有一個節點掛掉就會造成一部分數據不可用，所以我們選擇使用 3 個節點、設置 3 個備份 (默認值)。
- 對于TiDB 。我們的 TiDB 是無狀態的，現有集群的 TiDB 服務壓力大的話，可以在其他節點直接增加 TiDB 服務，無需多余的配置。我們選擇使用兩個 TiDB，可以做 HA 和負載均衡。
- 當然如果只是測試集群的話，完全可以使用一個 PD 、一個 TiDB 、三個 TiKV (少于三個的話需要修改備份數量)
三、下載 TiDB 安裝包并解壓
創建目錄用來存放 ansible 安裝包
- mkdir /root/workspace
切換目錄
- cd /root/workspace
下載安裝包
- wget https://github.com/pingcap/tidb-ansible/archive/master.zip
解壓壓縮包到當前目錄下
- unzip master.zip
查看安裝包結構，主要內容說明如下
- cd tidb-ansible-master && ls
四、部分內容含義
- ansible.cfg: ansible 配置文件
- inventoty.ini: 組和主機的相關配置
- conf: TiDB 相關配置模版
- group_vars: 相關變量配置
- scripts: grafana 監控 json 模版
- local_prepare.yml: 用來下載相關安裝包
- bootstrap.yml: 初始化集群各個節點
- deploy.yml: 在各個節點安裝 TiDB 相應服務
- roles: ansible tasks 的集合
- start.yml: 啟動所有服務
- stop.yml: 停止所有服務
- unsafe_cleanup_data.yml: 清除數據
- unsafe_cleanup.yml: 銷毀集群
五、修改配置文件
主要配置集群節點的分布情況，以及安裝路徑。
會在 tidb_servers 組中的機器上安裝 TiDB 服務(其他類似)，默認會將所有服務安裝到變量 deploy_dir 路徑下。
- #將要安裝 TiDB 服務的節點
- [tidb_servers]
- 192.168.1.102
- 192.168.1.103
- #將要安裝 TiKV 服務的節點
- [tikv_servers]
- 192.168.1.104
- 192.168.1.105
- 192.168.1.106
- #將要安裝 PD 服務的節點
- [pd_servers]
- 192.168.1.101
- 192.168.1.102
- 192.168.1.103
- #將要安裝 Promethues 服務的節點
- # Monitoring Part
- [monitoring_servers]
- 192.168.1.101
- #將要安裝 Grafana 服務的節點
- [grafana_servers]
- 192.168.1.101
- #將要安裝 Node_exporter 服務的節點
- [monitored_servers:children]
- tidb_servers
- tikv_servers
- pd_servers
- [all:vars]
- #服務安裝路徑，每個節點均相同，根據實際情況配置
- deploy_dir = /home/tidb/deploy
- ## Connection
- #方式一：使用 root 用戶安裝
- # ssh via root:
- # ansible_user = root
- # ansible_become = true
- # ansible_become_user = tidb
- #方式二：使用普通用戶安裝(需要有 sudo 權限)
- # ssh via normal user
- ansible_user = tidb
- #集群的名稱，自定義即可
- cluster_name = test-cluster
- # misc
- enable_elk = False
- enable_firewalld = False
- enable_ntpd = False
- # binlog trigger
- #是否開啟 pump，pump 生成 TiDB 的 binlog
- #如果有從此 TiDB 集群同步數據的需求，可以改為 True 開啟
- enable_binlog = False
安裝過程可以分為 root 用戶安裝和普通用戶安裝兩種方式。有 root 用戶當然是***的，修改系統參數、創建目錄等不會涉及到權限不夠的問題，能夠直接安裝完成。 但是有些環境不會直接給 root 權限，這種場景就需要通過普通用戶來安裝。為了配置簡便，我們建議所有節點都使用相同的普通用戶;為了滿足權限要求，我們還需要給這個普通用戶 sudo 權限。 下面介紹兩種安裝方式的詳細過程，安裝完成之后需要手動啟動服務。
1. 使用 root 用戶安裝
(1) 下載 Binary 包到 downloads 目錄下，并解壓拷貝到 resources/bin 下，之后的安裝過程就是使用的 resources/bin 下的二進制程序
- ansible-playbook -i inventory.ini local_prepare.yml
(2) 初始化集群各個節點。會檢查 inventory.ini 配置文件、Python 版本、網絡狀態、操作系統版本等，并修改一些內核參數，創建相應的目錄。
修改配置文件如下
- ## Connection
- # ssh via root:
- ansible_user = root
- # ansible_become = true
- ansible_become_user = tidb
- # ssh via normal user
- # ansible_user = tidb
執行初始化命令
- ansible-playbook -i inventory.ini bootstrap.yml -k #ansible-playboo命令說明請見附錄
(3) 安裝服務。該步驟會在服務器上安裝相應的服務，并自動設置好配置文件和所需腳本。
修改配置文件如下
- ## Connection
- # ssh via root:
- ansible_user = root
- ansible_become = true
- ansible_become_user = tidb
- # ssh via normal user
- # ansible_user = tidb
執行安裝命令
- ansible-playbook -i inventory.ini deploy.yml -k
2. 使用普通用戶安裝
(1) 下載 Binary 包到中控機
- ansible-playbook -i inventory.ini local_prepare.yml
(2) 初始化集群各個節點。
修改配置文件如下
- ## Connection
- # ssh via root:
- # ansible_user = root
- # ansible_become = true
- # ansible_become_user = tidb
- # ssh via normal user
- ansible_user = tidb
執行初始化命令
- ansible-playbook -i inventory.ini bootstrap.yml -k -K
(3) 安裝服務
- ansible-playbook -i inventory.ini deploy.yml -k -K
六、啟停服務
(1) 啟動所有服務
- ansible-playbook -i inventory.ini start.yml -k
(2) 停止所有服務
- ansible-playbook -i inventory.ini stop.yml
(3) 附錄
- ansible-playbook -i inventory.ini xxx.yml -k -K
- -k 執行之后需要輸入 ssh 連接用戶的密碼，如果做了中控機到所有節點的互信，則不需要此參數
- -K 執行之后需要輸入 sudo 所需的密碼，如果使用 root 用戶或者 sudo 無需密碼，則不需要此參數
【本文是51CTO專欄作者“PingCAP”的原創文章，轉載請聯系作者本人獲取授權】
