最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

如何使用Maxwell實時同步mysql數(shù)據(jù)

 更新時間:2021年04月08日 11:22:07   作者:周小董  
這篇文章主要介紹了如何使用Maxwell實時同步mysql數(shù)據(jù),幫助大家更好的理解和學(xué)習(xí)使用MySQL,感興趣的朋友可以了解下

Maxwell簡介

maxwell是由java編寫的守護進程,可以實時讀取mysql binlog并將行更新以JSON格式寫入kafka、rabbitMq、redis等中,  這樣有了mysql增量數(shù)據(jù)流,使用場景就很多了,比如:實時同步數(shù)據(jù)到緩存,同步數(shù)據(jù)到ElasticSearch,數(shù)據(jù)遷移等等。

maxwell官網(wǎng):http://maxwells-daemon.io
 maxwell源代碼:https://github.com/zendesk/maxwell

Maxwell的配置與使用

maxwell 依賴java sdk,所以需要先配置JDK環(huán)境。

1.下載Maxwell安裝包

root@xxx maxwell]# pwd
/usr/local/maxwell
[root@xxx maxwell]# wget https://github.com/zendesk/maxwell/releases/download/v1.19.5/maxwell-1.19.5.tar.gz
[root@xxx maxwell]# tar zxvf maxwell-1.19.5.tar.gz 
[root@xxx maxwell]# cd maxwell-1.19.5

2.配置mysql,打開mysql binlog日志

[root@xxx mysql]# vi /usr/local/mysql/my.cnf 

[mysqld]
log-bin=mysql-bin #添加這一行就
binlog-format=ROW #選擇row模式
server_id=1 #隨機指定一個不能和其他集群中機器重名的字符串,如果只有一臺機器,那就可以隨便指定了

重啟mysql服務(wù),登陸mysql,查看binlog日志模式

mysql> show variables like '%log_bin%'
+---------------------------------+-------------------------------+
| Variable_name                   | Value                         |
+---------------------------------+-------------------------------+
| log_bin                         | ON                            |
| log_bin_basename                | /data/mysqldb/mysql-bin       |
| log_bin_index                   | /data/mysqldb/mysql-bin.index |
| log_bin_trust_function_creators | OFF                           |
| log_bin_use_v1_row_events       | OFF                           |
| sql_log_bin                     | ON                            |
+---------------------------------+-------------------------------+
6 rows in set (0.11 sec)

Maxwell需要在schema_database選項指定的數(shù)據(jù)庫中存儲狀態(tài)的權(quán)限(默認(rèn)庫名稱為maxwell),所以需要提前給權(quán)限:

#創(chuàng)建一個有同步數(shù)據(jù)的用戶yhrepl
mysql> create user 'yhrepl'@'*' identified by 'scgaopan'; 
Query OK, 0 rows affected (0.10 sec)

#此用戶yhrepl要有對需要同步的數(shù)據(jù)庫表有操作權(quán)限
mysql> grant all privileges on test.* to 'yhrepl'@'%' identified by 'scgaopan'; 
Query OK, 0 rows affected (0.13 sec)

#給yhrepl有同步數(shù)據(jù)的權(quán)限
mysql> grant select,replication client,replication slave on *.* to 'yhrepl'@'%' identified by 'scgaopan';
Query OK, 0 rows affected (0.10 sec)
# Maxwell需要在schema_database選項指定的數(shù)據(jù)庫中存儲狀態(tài)的權(quán)限(默認(rèn)庫名稱為maxwell)
mysql> grant all privileges on maxwell.* to 'yhrepl'@'%' identified by 'scgaopan';
Query OK, 0 rows affected (0.09 sec)

3.啟動Maxwell,主要介紹數(shù)據(jù)寫入rabbitmq的實戰(zhàn):

[root@xxx maxwell-1.19.5]# vi /usr/local/maxwell/maxwell-1.19.5/config.properties
#日志級別
log_level=DEBUG

producer=rabbitmq
daemon=true

#監(jiān)控的數(shù)據(jù)庫, mysql用戶必須擁有讀取binlog權(quán)限和新建庫表的權(quán)限
host=47.105.110.xxx
user=yhrepl
password=scgaopan

output_nulls=true
jdbc_options=autoReconnet=true

#監(jiān)控數(shù)據(jù)庫中的哪些表
filter=exclude: *.*,include: test.AA

#replica_server_id 和 client_id 唯一標(biāo)示,用于集群部署
replica_server_id=64
client_id=test-id

#metrics_type=http
#metrics_slf4j_interval=60
#http_port=8111
#http_diagnostic=true # default false

#rabbitmq
rabbitmq_host=47.105.110.xxx
rabbitmq_port=5672
rabbitmq_user=guest
rabbitmq_pass=guest
rabbitmq_virtual_host=/
rabbitmq_exchange=maxwell
rabbitmq_exchange_type=topic
rabbitmq_exchange_durable=false
rabbitmq_exchange_autodelete=false
rabbitmq_routing_key_template=%db%.%table%
rabbitmq_message_persistent=false
rabbitmq_declare_exchange=true

啟動Maxwell:

[root@xxx maxwell-1.19.5]# ./bin/maxwell
#可以后臺啟動
[root@xxx maxwell-1.19.5]# nohub ./bin/maxwell &

啟動成功,此時會自動生成maxwell庫,該庫記錄了maxwell同步的狀態(tài),最后一次同步的id等等信息,在主庫失敗或同步異常后,只要maxwell庫存在,下次同步會根據(jù)最后一次同步的id。如果沒有生成maxwell庫或報錯,可能config.properties中配置的mysql用戶權(quán)限不夠

rabbitmq的操作

rabbitmq的操作,啟動maxwell后就有一個maxwell的exchage生成

但對應(yīng)的queue和exchange和queue的綁定需要用戶自己去實現(xiàn)

新建一個maxwell-test的queue:

把queue與exchange進行綁定:

注意,這里的Routing key 是區(qū)分大小寫的

在數(shù)據(jù)庫中修改一條記錄,可以看到maxwell-test隊列里面有一第記錄了。

全量同步

使用maxwell-bootstrap命令

./bin/maxwell-bootstrap --database xhd --table xhd-sso --host 127.0.0.1 --user xiehd --password xiehd2018 --client_id maxwell_dev

同步xhd.xhd-sso表的所有數(shù)據(jù),并指定client_id示maxwell_dev的maxwell執(zhí)行同步

上一個命令先開著,然后再啟動client_id=maxwell_dev的maxwell

./bin/maxwell --client_id maxwell_dev

等待執(zhí)行完成即可

以上就是如何使用Maxwell實時同步mysql數(shù)據(jù)的詳細內(nèi)容,更多關(guān)于用Maxwell同步mysql數(shù)據(jù)的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • MySql二進制連接方式詳解

    MySql二進制連接方式詳解

    這篇文章主要介紹了MySql二進制連接方式詳解的相關(guān)資料,需要的朋友可以參考下
    2016-05-05
  • mysql如何將sql查詢的結(jié)果以百分比展示出來

    mysql如何將sql查詢的結(jié)果以百分比展示出來

    這篇文章主要給大家介紹了關(guān)于mysql如何將sql查詢的結(jié)果以百分比展示出來的相關(guān)資料,用到了MySQL字符串處理中的兩個函數(shù)concat()和left()實現(xiàn)查詢結(jié)果以百分比顯示,需要的朋友可以參考下
    2023-08-08
  • mysql 數(shù)據(jù)插入優(yōu)化方法

    mysql 數(shù)據(jù)插入優(yōu)化方法

    當(dāng)一個線程對一個表執(zhí)行一個DELAYED語句時,如果不存在這樣的處理程序,一個處理器線程被創(chuàng)建以處理對于該表的所有DELAYED語句。
    2010-12-12
  • mysql如何設(shè)置主從數(shù)據(jù)庫的同步

    mysql如何設(shè)置主從數(shù)據(jù)庫的同步

    這篇文章主要介紹了mysql如何設(shè)置主從數(shù)據(jù)庫的同步問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-10-10
  • Navicat無法連接MySQL報錯1251的解決方案

    Navicat無法連接MySQL報錯1251的解決方案

    這篇文章主要為大家詳細介紹了Navicat無法連接MySQL報錯1251的解決方案,文中解決方法介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2023-12-12
  • 基于MySQL數(shù)據(jù)庫的數(shù)據(jù)約束實例及五種完整性約束介紹

    基于MySQL數(shù)據(jù)庫的數(shù)據(jù)約束實例及五種完整性約束介紹

    今天小編就為大家分享一篇關(guān)于基于MySQL數(shù)據(jù)庫的數(shù)據(jù)約束實例及五種完整性約束介紹,小編覺得內(nèi)容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧
    2019-01-01
  • MySQL數(shù)據(jù)庫十大優(yōu)化技巧

    MySQL數(shù)據(jù)庫十大優(yōu)化技巧

    WEB開發(fā)者不光要解決程序的效率問題,對數(shù)據(jù)庫的快速訪問和相應(yīng)也是一個大問題。希望本文能對大家掌握MySQL優(yōu)化技巧有所幫助。
    2011-03-03
  • MySQL數(shù)據(jù)庫的約束使用實例

    MySQL數(shù)據(jù)庫的約束使用實例

    約束是用來限制表中的數(shù)據(jù)長什么樣子的,即什么樣的數(shù)據(jù)可以插入到表中,什么樣的數(shù)據(jù)插入不到表中,下面這篇文章主要給大家介紹了關(guān)于如何通過一文理解MySQL數(shù)據(jù)庫的約束與表的設(shè)計的相關(guān)資料,需要的朋友可以參考下
    2022-12-12
  • MySQL主鍵批量修改的坑與解決方案

    MySQL主鍵批量修改的坑與解決方案

    在日常開發(fā)中,我們可能會遇到需要批量修改 MySQL 數(shù)據(jù)表主鍵的情況,乍一看,修改主鍵 ID 似乎是一個簡單的操作,但如果處理不當(dāng),會導(dǎo)致操作失敗甚至數(shù)據(jù)丟失,本文將詳細剖析問題成因,并總結(jié)多種安全高效的解決方案,需要的朋友可以參考下
    2024-12-12
  • mysql安裝時出現(xiàn)各種常見問題的解決方法

    mysql安裝時出現(xiàn)各種常見問題的解決方法

    mysql數(shù)據(jù)庫安裝不了了!mysql最后一步安裝不上?真頭疼!這篇文章主要為大家詳細介紹了解決mysql安裝時出現(xiàn)各種經(jīng)典問題的方法,感興趣的小伙伴們可以參考一下
    2016-08-08

最新評論

金秀| 湘乡市| 海伦市| 塘沽区| 眉山市| 江都市| 南郑县| 凤翔县| 左权县| 安远县| 财经| 疏勒县| 永善县| 博客| 游戏| 安徽省| 江口县| 舞阳县| 南和县| 巴青县| 丽江市| 扎囊县| 甘谷县| 义马市| 尉氏县| 墨竹工卡县| 洛扎县| 横山县| 鹤庆县| 云安县| 文昌市| 乌兰浩特市| 右玉县| 潞西市| 黄浦区| 古浪县| 仙居县| 哈巴河县| 河北区| 湘潭县| 南郑县|