目錄

• 一、前言
• 二、KingbaseES高可用體系整體架構(gòu)與能力分級
• 三、單機高可用部署實踐：基礎(chǔ)穩(wěn)定性的構(gòu)建方式
• （一）操作系統(tǒng)強制基礎(chǔ)配置
• （二）數(shù)據(jù)庫核心參數(shù)配置
• （三）開機自啟動與故障恢復(fù)
• 四、讀寫分離集群高可用實踐：生產(chǎn)主流方案詳解
• （一）集群部署前提條件
• （二）數(shù)據(jù)庫復(fù)制配置（es_rep.conf）
• （三）集群管理配置（repmgr.conf）
• （四）JDBC讀寫分離配置
• （五）故障處理與自動切換
• （六）常用集群運維命令
• 五、KingbaseES Clusterware共享存儲集群實踐
• （一）核心組件與架構(gòu)
• （二）corosync關(guān)鍵配置
• （三）資源配置與調(diào)度
• （四）故障處理機制
• 六、KingbaseES備份恢復(fù)最佳實踐
• （一）備份方案選擇
• （二）備份配置（sys_backup.conf）
• （三）備份與恢復(fù)常用命令
• （四）集群恢復(fù)策略
• 七、高可用運維與計劃內(nèi)操作規(guī)范
• （一）補丁與升級規(guī)范
• （二）配置變更規(guī)范
• （三）節(jié)點增刪規(guī)范
• 八、高可用監(jiān)控指標(biāo)與故障預(yù)防
• 九、總結(jié)

一、前言

在金融、政務(wù)、能源、通信等關(guān)鍵行業(yè)的核心業(yè)務(wù)系統(tǒng)里，數(shù)據(jù)庫能不能穩(wěn)定運行，直接關(guān)系到業(yè)務(wù)能不能連續(xù)開展、數(shù)據(jù)安不安全。KingbaseES作為國產(chǎn)自主可控的企業(yè)級關(guān)系型數(shù)據(jù)庫，提供了從單機基礎(chǔ)保護、讀寫分離集群、共享存儲集群到完善備份恢復(fù)體系的一整套高可用解決方案，能夠滿足不同規(guī)模、不同等級業(yè)務(wù)對連續(xù)性的嚴(yán)格要求。本文把高可用架構(gòu)、核心配置、故障處理、計劃內(nèi)操作、備份恢復(fù)等關(guān)鍵內(nèi)容做系統(tǒng)化梳理和落地解讀，提煉出能直接用在生產(chǎn)環(huán)境里的最佳實踐，幫助運維和開發(fā)人員快速搭建穩(wěn)定、可靠、易擴展的高可用數(shù)據(jù)庫系統(tǒng)。

二、KingbaseES高可用體系整體架構(gòu)與能力分級

KingbaseES高可用以MAA最大可用性架構(gòu)為設(shè)計目標(biāo)，按照可用性從低到高分成四個等級，覆蓋從測試環(huán)境到核心生產(chǎn)環(huán)境的全部場景。

第一級是單機高可用，主要面向非核心業(yè)務(wù)或者開發(fā)測試環(huán)境。依靠操作系統(tǒng)參數(shù)調(diào)優(yōu)、數(shù)據(jù)庫關(guān)鍵配置、自動重啟和基礎(chǔ)恢復(fù)能力，實現(xiàn)簡單軟件故障的自動處理，在不增加硬件成本的前提下，把基礎(chǔ)穩(wěn)定性提上來。

第二級是讀寫分離集群，基于流復(fù)制技術(shù)實現(xiàn)一主多備架構(gòu)，支持自動故障切換、VIP漂移、讀寫負(fù)載均衡，能應(yīng)對主機、網(wǎng)絡(luò)、存儲等硬件故障，大幅縮短故障恢復(fù)時間，是目前生產(chǎn)環(huán)境里最主流的高可用方案。

第三級是KingbaseES Clusterware共享存儲集群，基于corosync與pacemaker實現(xiàn)資源統(tǒng)一管控，支持共享存儲雙活、多實例集約化部署、強一致性故障隔離，適合對RTO要求極高、多業(yè)務(wù)整合部署的關(guān)鍵核心系統(tǒng)。

第四級是備份恢復(fù)體系，作為數(shù)據(jù)安全最后一道防線，提供全量、增量、差異備份與時間點恢復(fù)能力，能應(yīng)對數(shù)據(jù)損壞、誤操作、站點級災(zāi)難這些極端情況，保證數(shù)據(jù)可追溯、可恢復(fù)。

這四級架構(gòu)互相配合，形成故障自愈、負(fù)載分擔(dān)、資源調(diào)度、數(shù)據(jù)備份的完整高可用閉環(huán)，為企業(yè)提供持續(xù)穩(wěn)定的數(shù)據(jù)庫服務(wù)能力。

三、單機高可用部署實踐：基礎(chǔ)穩(wěn)定性的構(gòu)建方式

單機高可用是所有高可用方案的基礎(chǔ)，核心目標(biāo)就是在單實例部署模式下，通過標(biāo)準(zhǔn)化配置提升可靠性，能自動處理實例異常、配置錯誤這類簡單故障，出現(xiàn)停機時快速恢復(fù)服務(wù)，盡量減少對業(yè)務(wù)的影響。

（一）操作系統(tǒng)強制基礎(chǔ)配置

操作系統(tǒng)環(huán)境直接影響數(shù)據(jù)庫運行穩(wěn)定性，KingbaseES單機部署必須對防火墻、SELinux、資源限制、內(nèi)核參數(shù)做標(biāo)準(zhǔn)化配置。
關(guān)閉防火墻或者開放數(shù)據(jù)庫默認(rèn)54321端口，避免網(wǎng)絡(luò)訪問被攔截導(dǎo)致數(shù)據(jù)庫連不上；強制關(guān)閉SELinux，防止權(quán)限策略攔截數(shù)據(jù)庫進程讀寫文件；調(diào)整文件句柄數(shù)、進程數(shù)為65536，滿足高并發(fā)連接需求；配置內(nèi)核信號量參數(shù)，保證數(shù)據(jù)庫進程間通信穩(wěn)定。

# 關(guān)閉 SELinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
setenforce 0

# 修改資源限制
cat >> /etc/security/limits.conf << EOF
* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536
EOF

# 設(shè)置信號量內(nèi)核參數(shù)
echo "kernel.sem = 5010 64128000 50100 1280" >> /etc/sysctl.conf
sysctl -p

（二）數(shù)據(jù)庫核心參數(shù)配置

kingbase.conf是數(shù)據(jù)庫運行的核心配置文件，合理配置能提升穩(wěn)定性、可恢復(fù)性與監(jiān)控能力。單機環(huán)境必須開啟歸檔模式，為物理備份與故障恢復(fù)打下基礎(chǔ)；設(shè)置合適的共享內(nèi)存、連接數(shù)、WAL日志參數(shù)，保證數(shù)據(jù)庫運行高效穩(wěn)定。

listen_addresses = '*'
port = 54321
max_connections = 業(yè)務(wù)峰值連接數(shù) × 1.2
shared_buffers = 物理內(nèi)存的 1/3
wal_level = replica
archive_mode = on
archive_command = 'test ! -f /archive/%f && cp %p /archive/%f'
wal_keep_segments = 512
logging_collector = on
log_destination = csvlog

（三）開機自啟動與故障恢復(fù)

單機環(huán)境需要把數(shù)據(jù)庫注冊成系統(tǒng)服務(wù)，實現(xiàn)開機自動啟動，提升運維便利性。

# 注冊開機自啟服務(wù)
/opt/Kingbase/ES/V9/install/script/root.sh
systemctl enable kingbased

出現(xiàn)實例故障時，可以直接用重啟命令快速恢復(fù)；如果遇到數(shù)據(jù)損壞或者存儲故障，就必須依靠備份恢復(fù)機制找回數(shù)據(jù)，這也說明單機環(huán)境一定要搭配備份策略才能真正安全。

四、讀寫分離集群高可用實踐：生產(chǎn)主流方案詳解

讀寫分離集群是KingbaseES高可用的核心方案，基于流復(fù)制實現(xiàn)主備數(shù)據(jù)實時同步，主庫負(fù)責(zé)寫入，備庫提供只讀查詢，具備自動故障切換、負(fù)載均衡、異地容災(zāi)等能力，能滿足核心業(yè)務(wù)高可用需求。

（一）集群部署前提條件

集群所有節(jié)點必須滿足嚴(yán)格的環(huán)境一致性要求。所有節(jié)點時鐘要同步，誤差必須小于2秒，避免WAL日志回收異常；關(guān)閉防火墻或者開放54321、8890等集群通信端口；主備節(jié)點硬件配置盡量一致，保證故障切換后性能平穩(wěn)；配置節(jié)點間免密登錄，用sys_securecmdd或者ssh都可以，保證集群管理工具正常通信。

（二）數(shù)據(jù)庫復(fù)制配置（es_rep.conf）

要保證主備數(shù)據(jù)一致和備庫可讀，必須開啟流復(fù)制相關(guān)參數(shù)，這是集群能正常運行的基礎(chǔ)。

wal_level = replica
max_wal_senders = 32
hot_standby = on
hot_standby_feedback = on
synchronous_commit = remote_apply
wal_log_hints = on
full_page_writes = on

（三）集群管理配置（repmgr.conf）

repmgr是集群管理核心組件，負(fù)責(zé)節(jié)點監(jiān)控、故障檢測、主備選舉、VIP漂移這些操作。配置里要明確節(jié)點信息、故障切換策略、監(jiān)控間隔、VIP等關(guān)鍵參數(shù)。

node_id = 1
node_name = 'node1'
conninfo = 'host=192.168.2.129 user=esrep dbname=esrep port=54321 connect_timeout=10'
failover = 'automatic'
recovery = 'automatic'
monitor_interval_secs = 2
reconnect_attempts = 3
reconnect_interval = 5
virtual_ip = '192.168.2.200/24'
net_device = 'eth0'

（四）JDBC讀寫分離配置

KingbaseES提供對應(yīng)用透明的JDBC讀寫分離能力，不用修改業(yè)務(wù)代碼就能實現(xiàn)讀請求負(fù)載均衡，降低主庫的查詢壓力。

USEDISPATCH=true
HOST=192.168.2.129
PORT=10001
DBNAME=TEST
SLAVE_ADD=192.168.2.129,192.168.2.129
SLAVE_PORT=10002,10003
nodeList=node1,node2,node3
HOSTLOADRATE=50

（五）故障處理與自動切換

讀寫分離集群有很完善的故障自愈能力。主庫宕機、斷網(wǎng)、掉電時，備庫在重試檢測之后自動發(fā)起選舉，按照LSN、節(jié)點優(yōu)先級、node_id選出新主庫；VIP會自動漂移到新主庫，應(yīng)用幾乎無感知切換；原主庫恢復(fù)之后，可以自動或者手動重新加入集群，變成新備庫；遇到網(wǎng)絡(luò)分區(qū)、腦裂這些復(fù)雜場景，可以按照時間線、LSN判斷最新數(shù)據(jù)節(jié)點，人工介入就能恢復(fù)集群。

（六）常用集群運維命令

實際運維過程中，經(jīng)常需要查看集群狀態(tài)、做手動切換、把故障節(jié)點重新加入集群。下面這些命令是日常維護最常用的，記熟能大幅提高工作效率。

# 查看集群狀態(tài)
repmgr cluster show

# 手動主備切換
repmgr standby switchover

# 節(jié)點重新加入集群
repmgr node rejoin -h 新主IP -U esrep -d esrep --force-rewind

# 啟動/停止集群服務(wù)
sys_monitor.sh start
sys_monitor.sh stop

五、KingbaseES Clusterware共享存儲集群實踐

Clusterware是面向企業(yè)級核心業(yè)務(wù)的高可用方案，基于共享存儲架構(gòu)，通過corosync實現(xiàn)集群成員管理，通過pacemaker實現(xiàn)資源調(diào)度，支持雙節(jié)點多活部署、資源自動漂移、強隔離fencing機制，適合高可靠、集約化部署的場景。

（一）核心組件與架構(gòu)

Clusterware由三大核心組件組成。corosync負(fù)責(zé)集群心跳、節(jié)點管理、投票盤qdevice仲裁，避免腦裂；pacemaker負(fù)責(zé)VIP、文件系統(tǒng)、數(shù)據(jù)庫、存儲鎖等資源的調(diào)度與故障轉(zhuǎn)移；qdevice投票盤在雙節(jié)點環(huán)境下提供仲裁能力，保證集群在網(wǎng)絡(luò)分裂時選出有效分區(qū)。

（二）corosync關(guān)鍵配置

corosync.conf定義集群心跳、節(jié)點列表、投票策略，是集群穩(wěn)定運行的基礎(chǔ)配置，參數(shù)設(shè)置不合理很容易導(dǎo)致集群異常。

totem {
    version: 2
    token: 60000
    cluster_name: 2nodes
}
nodelist {
    node { ring0_addr: node1 nodeid:1 }
    node { ring0_addr: node2 nodeid:2 }
}
quorum {
    provider: corosync_votequorum
    expected_votes: 3
    device {
        votes: 1
        model: disk
        disk { label: "2nodes" }
    }
}

（三）資源配置與調(diào)度

Clusterware以資源形式管理數(shù)據(jù)庫、VIP、共享文件系統(tǒng)、存儲鎖，通過組資源和約束規(guī)則保證啟動順序和位置綁定，避免資源分散在不同節(jié)點導(dǎo)致業(yè)務(wù)異常。

# 配置虛擬IP
crm configure primitive FIP1 ocf:heartbeat:IPaddr2 params ip="192.168.4.135" cidr_netmask="24" nic="bond0" op monitor interval=30s

# 配置共享文件系統(tǒng)
crm configure primitive FILESYSTEM1 ocf:heartbeat:Filesystem params device="-U 磁盤UUID" directory="/sharedata/data1" fstype="ext4"

# 配置數(shù)據(jù)庫資源
crm configure primitive DB1 ocf:kingbase:kingbase params kb_data="/sharedata/data1/data" kb_port=54321 op monitor interval=9s

# 組資源綁定啟動順序
crm configure group DB1_GROUP FIP1 FILESYSTEM1 DB1

（四）故障處理機制

Clusterware對網(wǎng)絡(luò)故障、節(jié)點故障、存儲故障、進程掛起都有明確的處理策略。節(jié)點異常時自動觸發(fā)fencing，強制隔離故障節(jié)點；資源失敗后自動重啟或者漂移到可用節(jié)點；網(wǎng)絡(luò)分區(qū)時由投票盤仲裁有效節(jié)點，保證集群只有一個可用分區(qū)，避免數(shù)據(jù)錯亂。

六、KingbaseES備份恢復(fù)最佳實踐

備份恢復(fù)是數(shù)據(jù)安全的最后保障，KingbaseES提供獨立備份與非獨立備份兩種模式，支持全量、增量、差異備份與時間點恢復(fù)PITR，能應(yīng)對數(shù)據(jù)損壞、誤刪除、站點災(zāi)難等場景。

（一）備份方案選擇

獨立備份使用專用備份服務(wù)器，不占用業(yè)務(wù)節(jié)點資源，容災(zāi)能力更強，適合核心業(yè)務(wù)；非獨立備份在數(shù)據(jù)庫節(jié)點本地執(zhí)行備份，配置簡單、沒有網(wǎng)絡(luò)依賴，適合中小型環(huán)境。實際使用時可以根據(jù)業(yè)務(wù)重要程度、硬件條件靈活選擇。

（二）備份配置（sys_backup.conf）

備份系統(tǒng)的配置直接決定備份是否可靠、恢復(fù)是否順利，下面是生產(chǎn)環(huán)境常用的配置項，按照實際環(huán)境修改IP、路徑、保留份數(shù)即可。

_target_db_style="cluster"
_one_db_ip="192.168.1.11"
_repo_ip="192.168.1.66"
_stanza_name="kingbase"
_os_user_name="kingbase"
_repo_path="/home/kingbase/back_dir"
_repo_retention_full_count=5
_crond_full_days=7
_crond_incr_days=1
_use_scmd=on

（三）備份與恢復(fù)常用命令

備份和恢復(fù)操作有固定的命令流程，熟練使用可以快速完成初始化、定時備份、手動備份、時間點恢復(fù)等工作。

# 初始化備份系統(tǒng)
sys_backup.sh init

# 啟動定時備份
sys_backup.sh start

# 手動執(zhí)行全量備份
sys_rman --config=/back_dir/sys_rman.conf --stanza=kingbase --type=full backup

# 按時間點恢復(fù)數(shù)據(jù)
sys_rman --config=/back_dir/sys_rman.conf --stanza=kingbase --type=time --target='2026-04-29 10:00:00' restore

（四）集群恢復(fù)策略

集群環(huán)境的恢復(fù)和單機不一樣，要講究順序。單節(jié)點損壞時，用repmgr clone快速重建備庫就行；全集群損壞時，先在一個節(jié)點執(zhí)行備份恢復(fù)，再通過克隆方式恢復(fù)其他節(jié)點，能快速拉起整個集群，縮短業(yè)務(wù)中斷時間。

七、高可用運維與計劃內(nèi)操作規(guī)范

想要高可用系統(tǒng)長期穩(wěn)定運行，必須遵守標(biāo)準(zhǔn)化的計劃內(nèi)操作，包括補丁升級、配置變更、節(jié)點擴縮容等，隨意操作很容易引發(fā)故障。

（一）補丁與升級規(guī)范

集群組件比如repmgr、kbha支持在線滾動升級，先升級備節(jié)點，再升級主節(jié)點，不影響業(yè)務(wù)；數(shù)據(jù)庫內(nèi)核升級要判斷兼容性，兼容版本可以滾動升級，不兼容版本需要邏輯備份后重建實例；Clusterware升級可以用脫管資源或者滾動方式，優(yōu)先選擇停機升級，保證升級過程安全。

（二）配置變更規(guī)范

數(shù)據(jù)庫熱參數(shù)修改用sys_ctl reload就能生效，不需要重啟；冷參數(shù)修改需要重啟集群，應(yīng)該選在業(yè)務(wù)低峰期操作；repmgr、corosync配置修改之后，要重啟對應(yīng)的守護進程，不然配置不會生效。

（三）節(jié)點增刪規(guī)范

新增節(jié)點直接用repmgr注冊加入集群即可，操作很簡單；刪除節(jié)點要先切換主庫，把要刪除的節(jié)點變成備庫再移除，同時清理殘留的復(fù)制槽，避免影響集群穩(wěn)定性。

八、高可用監(jiān)控指標(biāo)與故障預(yù)防

持續(xù)監(jiān)控是高可用的重要保障，KingbaseES高可用方案有明確的監(jiān)控指標(biāo)，日常運維要重點關(guān)注。集群節(jié)點狀態(tài)要為running，出現(xiàn)failed、unreachable要及時處理；主備角色只能有一個primary，其他都是standby，嚴(yán)禁出現(xiàn)雙主；數(shù)據(jù)庫進程狀態(tài)必須是running；流復(fù)制狀態(tài)要為streaming，非streaming就是異常；復(fù)制延遲建議小于10秒，延遲過高會影響切換后的數(shù)據(jù)一致性。

同時，要定期做故障演練，比如模擬主庫宕機、斷網(wǎng)、存儲故障、腦裂等場景，驗證集群自愈能力，確保真的發(fā)生故障時能快速恢復(fù)，而不是臨時手忙腳亂。

九、總結(jié)

KingbaseES高可用體系以標(biāo)準(zhǔn)化、自動化、易運維為設(shè)計核心，覆蓋單機、讀寫分離集群、共享存儲集群、備份恢復(fù)四大場景，能滿足從非核心業(yè)務(wù)到關(guān)鍵核心系統(tǒng)的可用性要求。嚴(yán)格按照官方最佳實踐，統(tǒng)一操作系統(tǒng)配置、數(shù)據(jù)庫參數(shù)、集群管理策略、備份恢復(fù)機制，就能搭建穩(wěn)定、高效、可自愈的數(shù)據(jù)庫高可用環(huán)境，為企業(yè)業(yè)務(wù)7×24小時連續(xù)運行提供堅實支撐。實際生產(chǎn)落地時，建議優(yōu)先采用讀寫分離集群，搭配獨立備份和定期故障演練，形成完整可靠的高可用保障體系。