Mysql、ES 数据同步-白红宇的个人博客

Mysql、ES 数据同步

发布日期：2021-05-09 04:59:16 浏览次数：12 分类：博客文章

本文共 1034 字，大约阅读时间需要 3 分钟。

数据同步中间件

不足：不支持 ES6.X 以上、Mysql 8.X 以上

ime 标识最大时间

logstash全量、增量同步解决方案

jar 包下载地址

驱动包的配置

将驱动程序Jar文件复制到<logstash_install_dir>/logstash-core/lib/jars/目录。

然后在配置文件中，然后在mysql.conf里的就不需要在设置jdbc驱动包的配置了

mysql.conf

input{    jdbc{        # 要使用的驱动包类        jdbc_driver_class => "com.mysql.jdbc.Driver"        # mysql数据库的连接信息        jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/blog"        # mysql用户        jdbc_user => "root"        # mysql密码        jdbc_password => "root"        # 定时任务，多久执行一次查询，默认一分钟，如果想要没有延迟，可以使用 schedule => "* * * * * *"        schedule => "* * * * *"        # 清空上传的sql_last_value记录        clean_run => true        # 你要执行的语句        statement => "select * FROM t_blog WHERE update_time > :sql_last_value AND update_time < NOW() ORDER BY update_time desc"    }}output {    elasticsearch{        # es host : port        hosts => ["127.0.0.1:9200"]        # 索引        index => "blog"        # _id        document_id => "%{id}"    }}

开始同步

logstash -f ../config/mysql.conf

同步成功

kibana中验证

GET /blog/_statsGET /blog/_search

上一篇：分词器的安装与使用

下一篇：ES、kibana安装及交互操作

发表评论

关于作者

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！