【Oozie】（三）Oozie 使用实战教学，带你快速上手！
发布日期：2021-05-08 01:13:46
浏览次数：7
分类：精选文章
本文共 11713 字，大约阅读时间需要 39 分钟。
文章目录
案例一：Oozie调度shell脚本
目标：使用Oozie调度Shell脚本
分步实现：
1）解压官方案例模板
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz
2）创建工作目录
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir oozie-apps/
3）拷贝任务模板到oozie-apps/目录
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -r examples/apps/shell/ oozie-apps
4）编写脚本p1.sh
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ vi oozie-apps/shell/p1.sh
内容如下：
#!/bin/bash/sbin/ifconfig > /opt/module/p1.log
5）修改job.properties和workflow.xml文件
job.properties
#HDFS地址nameNode=hdfs://hadoop102:8020#ResourceManager地址jobTracker=hadoop103:8032#队列名称queueName=defaultexamplesRoot=oozie-appsoozie.wf.application.path=${nameNode}/user/${ user.name}/${examplesRoot}/shellEXEC=p1.sh workflow.xml
${jobTracker} ${nameNode} mapred.job.queue.name ${queueName} ${ EXEC} /user/atguigu/oozie-apps/shell/${ EXEC}#${EXEC} ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'} Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}] Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]
6）上传任务配置
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop fs -put oozie-apps/ /user/atguigu
7）执行任务
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/shell/job.properties -run
8）杀死某个任务
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -kill 0000004-170425105153692-oozie-z-W
案例二：Oozie逻辑调度执行多个Job
目标：使用Oozie执行多个Job调度
分步执行：
1）解压官方案例模板
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxf oozie-examples.tar.gz
2）编写脚本
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ vi oozie-apps/shell/p2.sh
内容如下：
#!/bin/bash/bin/date > /opt/module/p2.log
3）修改job.properties和workflow.xml文件
job.properties
nameNode=hdfs://hadoop102:8020jobTracker=hadoop103:8032queueName=defaultexamplesRoot=oozie-appsoozie.wf.application.path=${nameNode}/user/${ user.name}/${examplesRoot}/shellEXEC1=p1.shEXEC2=p2.sh workflow.xml
${jobTracker} ${nameNode} mapred.job.queue.name ${queueName} ${EXEC1} /user/atguigu/oozie-apps/shell/${EXEC1}#${EXEC1} ${jobTracker} ${nameNode} mapred.job.queue.name ${queueName} ${EXEC2} /user/admin/oozie-apps/shell/${EXEC2}#${EXEC2} ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'} Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}] Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]
3）上传任务配置
$ bin/hadoop fs -rmr /user/atguigu/oozie-apps/$ bin/hadoop fs -put oozie-apps/map-reduce /user/atguigu/oozie-apps
4）执行任务
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/shell/job.properties -run
案例三：Oozie调度MapReduce任务
目标：使用Oozie调度MapReduce任务
分步执行：
1）找到一个可以运行的mapreduce任务的jar包（可以用官方的，也可以是自己写的）
2）拷贝官方模板到oozie-apps[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -r /opt/module/cdh/ oozie-4.0.0-cdh5.3.6/examples/apps/map-reduce/ oozie-apps/
1）测试一下wordcount在yarn中的运行
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /input/ /output/
2）配置map-reduce任务的job.properties以及workflow.xml
job.properties
nameNode=hdfs://hadoop102:8020jobTracker=hadoop103:8032queueName=defaultexamplesRoot=oozie-apps#hdfs://hadoop102:8020/user/admin/oozie-apps/map-reduce/workflow.xmloozie.wf.application.path=${nameNode}/user/${ user.name}/${examplesRoot}/map-reduce/workflow.xmloutputDir=map-reduce workflow.xml
${jobTracker} ${nameNode} mapred.job.queue.name ${queueName} mapred.mapper.new-api true mapred.reducer.new-api true mapreduce.job.output.key.class org.apache.hadoop.io.Text mapreduce.job.output.value.class org.apache.hadoop.io.IntWritable mapred.input.dir /input/ mapred.output.dir /output/ mapreduce.job.map.class org.apache.hadoop.examples.WordCount$TokenizerMapper mapreduce.job.reduce.class org.apache.hadoop.examples.WordCount$IntSumReducer mapred.map.tasks 1 Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
5）拷贝待执行的jar包到map-reduce的lib目录下
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -a /opt /module/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar oozie-apps/map-reduce/lib
6）上传配置好的app文件夹到HDFS
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/map-reduce/ /user/admin/oozie-apps
7）执行任务
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/map-reduce/job.properties -run
案例四：Oozie定时任务/循环任务
目标：Coordinator周期性调度任务
分步实现：
1）配置Linux时区以及时间服务器
2）检查系统当前时区：# date -R
注意：如果显示的时区不是+0800，删除localtime文件夹后，再关联一个正确时区的链接过去，命令如下：
# rm -rf /etc/localtime# ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
同步时间：
# ntpdate pool.ntp.org
修改NTP配置文件：
# vi /etc/ntp.conf去掉下面这行前面的# ,并把网段修改成自己的网段：restrict 192.168.122.0 mask 255.255.255.0 nomodify notrap注释掉以下几行：#server 0.centos.pool.ntp.org#server 1.centos.pool.ntp.org#server 2.centos.pool.ntp.org把下面两行前面的#号去掉,如果没有这两行内容,需要手动添加server 127.127.1.0 # local clockfudge 127.127.1.0 stratum 10
重启NTP服务：
# systemctl start ntpd.service，注意，如果是centOS7以下的版本，使用命令：service ntpd start# systemctl enable ntpd.service，注意，如果是centOS7以下的版本，使用命令：chkconfig ntpd on
集群其他节点去同步这台时间服务器时间：
首先需要关闭这两台计算机的ntp服务
# systemctl stop ntpd.service，
centOS7以下，则：service ntpd stop
# systemctl disable ntpd.service
centOS7以下，则：chkconfig ntpd off
# systemctl status ntpd，查看ntp服务状态# pgrep ntpd，查看ntp服务进程id
同步第一台服务器linux01的时间：
# ntpdate hadoop102
使用root用户制定计划任务,周期性同步时间：
# crontab -e*/10 * * * * /usr/sbin/ntpdate hadoop102
重启定时任务：
# systemctl restart crond.service，centOS7以下使用：service crond restart，
其他台机器的配置同理。
3）配置oozie-site.xml文件
属性：oozie.processing.timezone属性值：GMT+0800解释：修改时区为东八区区时
注：该属性去oozie-default.xml中找到即可
4）修改js框架中的关于时间设置的代码
$ vi /opt/module/cdh/oozie-4.0.0-cdh5.3.6/oozie-server/webapps/oozie/oozie-console.js修改如下：function getTimeZone() { Ext.state.Manager.setProvider(new Ext.state.CookieProvider()); return Ext.state.Manager.get("TimezoneId","GMT+0800");} 5）重启oozie服务，并重启浏览器（一定要注意清除缓存）
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start
6）拷贝官方模板配置定时任务\
$ cp -r examples/apps/cron/ oozie-apps/
7）修改模板job.properties和coordinator.xml以及workflow.xml
job.propertiesnameNode=hdfs://hadoop102:8020jobTracker=hadoop103:8032queueName=defaultexamplesRoot=oozie-appsoozie.coord.application.path=${nameNode}/user/${ user.name}/${examplesRoot}/cron#start：必须设置为未来时间，否则任务失败start=2017-07-29T17:00+0800end=2017-07-30T17:00+0800workflowAppUri=${nameNode}/user/${ user.name}/${examplesRoot}/cronEXEC3=p3.sh oordinator.xml
${workflowAppUri} jobTracker ${jobTracker} nameNode ${nameNode} queueName ${queueName}
workflow.xml
${jobTracker} ${nameNode} mapred.job.queue.name ${queueName} ${EXEC3} /user/atguigu/oozie-apps/cron/${EXEC3}#${EXEC3} Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}] Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]
8）上传配置
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/cron/ /user/admin/oozie-apps
9）启动任务
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/cron/job.properties -run
注意：Oozie允许的最小执行任务的频率是5分钟
常见问题总结
1）Mysql权限配置
授权所有主机可以使用root用户操作所有数据库和数据表mysql> grant all on *.* to root@'%' identified by '000000';mysql> flush privileges;mysql> exit;
2）workflow.xml配置的时候不要忽略file属性
3）jps查看进程时，注意有没有bootstrap
4）关闭oozie
如果bin/oozied.sh stop无法关闭，则可以使用kill -9 [pid]，之后oozie-server/temp/xxx.pid文件一定要删除。 5）Oozie重新打包时，一定要注意先关闭进程，删除对应文件夹下面的pid文件。（可以参考第4条目）
6）配置文件一定要生效
起始标签和结束标签无对应则不生效，配置文件的属性写错了，那么则执行默认的属性。7）libext下边的jar存放于某个文件夹中，导致share/lib创建不成功。
8）调度任务时，找不到指定的脚本，可能是oozie-site.xml里面的Hadoop配置文件没有关联上。
9）修改Hadoop配置文件，需要重启集群。一定要记得scp到其他节点。
10）JobHistoryServer必须开启，集群要重启的。
11）Mysql配置如果没有生效的话，默认使用derby数据库。
12）在本地修改完成的job配置，必须重新上传到HDFS。
13）将HDFS中上传的oozie配置文件下载下来查看是否有错误。
14）Linux用户名和Hadoop的用户名不一致。
发表评论
最新留言
感谢大佬
[***.8.128.20]2025年04月13日 10时51分07秒
关于作者
喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！
-- 愿君每日到此一游！
推荐文章
js 的 let var const 区别
2019-03-05
vue计算属性和监听器区别
2019-03-05
前端常用知识随手记
2019-03-05
11.2.6 时间值的小数秒
2019-03-05
11.2.7 日期和时间类型之间的转换
2019-03-05
redis 内存溢出_从数据存储的角度告诉你Redis为什么这么快！
2019-03-05
实例分析Facebook激励视频广告接入
2019-03-05
实例：使用OKGO下载网络压缩包资源，然后解压缩放在本地使用
2019-03-05
解决mybatis嵌套查询使用PageHelper分页不准确
2019-03-05
Redis源码分析（七）--- zipmap压缩图
2019-03-05
大规模集群自动化部署工具--Chef的安装部署
2019-03-05
一致性哈希算法
2019-03-05
HDFS源码分析(六)-----租约
2019-03-05
自定义Hive Sql Job分析工具
2019-03-05
聊聊HDFS RBF第二阶段的主要改进
2019-03-05
公司如何使用开源软件
2019-03-05
【MySQL】（九）触发器
2019-03-05
关于Altium Designer 09导出BOM表不能正确分类问题
2019-03-05
Oracle 11G环境配置
2019-03-05
【Spark】（六）Spark 运行流程
2019-03-05
白红宇的个人博客 - 记录点点滴滴的事 - 您是第 457221999 位访客
访问时间: 2025-04-16 07:58:19
访问IP: 18.224.37.168
Copyright © 2020 - 2025 css8.cn 京ICP备2021015314号-1
手机版