
kettle教程---通过配置表格配置实现数据的批量增量更新(实用)
发布日期:2021-05-09 01:53:41
浏览次数:18
分类:博客文章
本文共 651 字,大约阅读时间需要 2 分钟。
附:Kettle实战视频教程,需要的朋友可以看看学习下哈~~
本文接上篇文章,上面文章讲的是,通过配置文件的全量更新,现在说下增量更新
如上图所示,涉及到1个转换和1个作业。
1-表增量同步(转换)
可以通过读取同步表参数这个excel表格文件,获取表名称和同步的依赖对象(本文就是cjsj创建时间),同步成功后复制记录到结果
2-增量数据同步(作业)
我们右键点开如上图,包含了7个转换组成。
1)表数据同步设置(转换)
获取上个转换的记录,放到设置变量中。
2)表数据同步设置2(转换)
获取时间变量放入设置变量中
3)获取查询条件 (转换)
3.1)点开获取查询条件,写入查询条件,放入设置变量中
4)删除目标原始数据(转换)
删除目标库的原始数据,如下图,删除重复的数据
5)待插入数据同步(转换),转换点开后,如下图,显示了获取cjsj创建时间在日志表之后的数据,插入新表
6)保存同步日志(转换)
写入日志表。
这样就完成了表数据的增量更新,通过配置文件来配置相应的表数据,一个专业可以完成全量和增量的所有表的更新。
通过添加excel表的表名,实现一个调度任务,完成所有表的同步
注意:因某些限制,最新源代码和后续通用配置实现数据抽取 已放置在笔者公众号上,请关注微信公众号: 【JAVA大师】, 回复关键字:【KETTLE】,获取kettle安装程序和运行实例(表结构和kjb、ktr文件)。
同时笔者原创了一套视频教程:现免费发放100套,先到先得。获得方法:扫描下方二维码,关注获得
发表评论
最新留言
留言是一种美德,欢迎回访!
[***.207.175.100]2025年04月26日 20时01分06秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
04_Mysql配置文件(重要参数)
2019-03-06
python 序列化及其相关模块(json,pickle,shelve,xml)详解
2019-03-06
JavaSE总结
2019-03-06
手动造轮子——基于.NetCore的RPC框架DotNetCoreRpc
2019-03-06
Python IO编程
2019-03-06
CSS入门总结
2019-03-06
使用 TortoiseGit 时,报 Access denied 错误
2019-03-06
基于 HTML5 WebGL 的污水处理厂泵站自控系统
2019-03-06
[系列] Go gRPC 调试工具
2019-03-06
django-表单之模型表单渲染(六)
2019-03-06
c++之程序流程控制
2019-03-06
spring-boot-2.0.3之redis缓存实现,不是你想的那样哦!
2019-03-06
httprunner学习23-加解密
2019-03-06
有道云笔记 同步到我的博客园
2019-03-06
李笑来必读书籍整理
2019-03-06
http头部 Expect
2019-03-06
Hadoop(十六)之使用Combiner优化MapReduce
2019-03-06
《机器学习Python实现_10_06_集成学习_boosting_gbdt分类实现》
2019-03-06