
kettle学习笔记(七)——kettle流程步骤与应用步骤
发布日期:2021-05-09 04:57:48
浏览次数:16
分类:博客文章
本文共 640 字,大约阅读时间需要 2 分钟。
一、概述
流程主要用来控制数据流程与数据流向
应用则是提供一些工具类
二、流程步骤
1.ETL元数据注入
类似Java中的反射,在设计时不知道文件名、文件位置等,在真正执行时才知道具体的一些配置等信息
具体介绍后续补充,官方Wikia:
2.数据过滤
这里说一下Java代码过滤,主要是Java的一些方法,例如indexOf(),matchs()等:
3.处理不确定的数据行数
检测空流用来检测前面过来的流是否是空流;阻塞数据只要最后一行
4.多来源数据合并
使用的是UNION进行合并(列数、列名、列类型需要相同),而不是JOIN:
5.数据流终点
空操作基本上就是用于自然合并与垃圾箱;
中止可以设置中止的条数,例如设置有10条记录到这里就报错
复制记录到结果可以暂存内存,供以后的转换使用
设置变量注意也是设置的变量只能以后的转换使用
6.其它
单线程流程,暂不展开
三、应用
1.Null值处理
2.启动其它程序
// 注意运行SSH务必提前设置免密登陆!
3.日志功能
写日志就相当于Java代码里的log.info(...)了,用于自定义记录日志
4.文件处理功能
5.发送邮件
用空格区分多个收件人(可以使用变量)
发表评论
最新留言
不错!
[***.144.177.141]2025年03月28日 03时20分04秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
UIPickerView的使用(二)
2021-05-09
iOS 多线程GCD简介
2021-05-09
实现延迟消息队列
2021-05-09
写了一下 micropython 的文件系统单元测试
2021-05-09
说说字库和字模的故事,然后在 MaixPy 里实现打印中文字体(任意字体)吧!
2021-05-09
线性代数应该这样学9:上三角矩阵、对角矩阵
2021-05-09
【科学计算】插值理论
2021-05-09
centos7一步一步搭建docker jenkins 及自定义访问路径重点讲解
2021-05-09
在wxPython使ListCtrl占据整个窗口
2021-05-09
微软面试题
2021-05-09
Google新玩法(转载)
2021-05-09
C#中Dispose和Close的区别!
2021-05-09
如何让服务在流量暴增的情况下保持稳定输出
2021-05-09
一个20年技术老兵的 2020 年度技术总结
2021-05-09
一例完整的websocket实现群聊demo
2021-05-09
【Net】ABP框架学习之它并不那么好用
2021-05-09
Harbor 批量清理历史镜像
2021-05-09
.NET Core 基于Websocket的在线聊天室
2021-05-09
使用MySQL Shell创建MGR
2021-05-09