大数据学习之wordcount
发布日期:2021-05-07 13:15:33 浏览次数:34 分类:原创文章

本文共 551 字,大约阅读时间需要 1 分钟。

环境:Ubutun 16.04 +  Java + HDFS +Hadoop


工具:VM 15.0 + IDEA +XShell 6+ Xftp 6 


一、了解MapReduce模型:









二、代码编写,实现单词统计功能


1.导入MapReduce开发相关的jar包



2.打开IDEA开发工具, 将jar包构建到项目中



3.创建项目



4.代码编写


WordCountMapper.java



WordCountReduce.java



WordCountMain.java



5.使用IDEA将项目打jar包






6.创建data.txt文件,请输入内容:



启动服务 :



start-all.sh




7.上传文件到HDFS中:



hdfs dfs -put data.txt /



注:hdfs dfs -put 上传文件的路径 HDFS上的路径


\


在HDFS上创建输出文件outfile的存放位置:



hdfs dfs -mkdir /outfile




8. 将jar包上传并运行:



hadoop jar  wordcount.jar  /data.txt  /out


hadoop jar jar包名 hdfs上的输入文件路径 hdfs上的输出文件路径


注:输出文件路径必须是不存在的,否则会报错。




9.查看统计结果:



项目地址:


 


 

上一篇:Ubuntun 完全分布式环境搭建 及 温度统计项目学习
下一篇:基于Opencv-python 实现视频按帧截取图片

发表评论

最新留言

第一次来,支持一个
[***.219.124.196]2025年03月26日 01时06分49秒