Spark下如何运行Java版本的WordCount
发布日期:2021-05-27 02:54:32 浏览次数:28 分类:技术文章

本文共 464 字,大约阅读时间需要 1 分钟。

最近研究了下spark,因为scala还不熟,所以先学习了java的spark程序写法,下面是我的简单测试程序的代码,大部分函数的用法已在注释里面注明这里需要用到一个jar文件:spark-assembly-1.0.0-hadoop1.0.4.jar

WordCount代码如下

 

手动编译运行过程:

 

导出类文件生成jar包,这里生成为JavaWordCount.jar。

然后执行下面命令,其中--class 指定主类,--master 指定spark master地址,后面是执行的jar和需要的参数。

bin/spark-submit--class org.project.modules.spark.java.WordCount

--master spark://centos.host1:7077

/home/hadoop/project/mining.jarhdfs://centos.host1:9000/user/hadoop/data/wordcount/001/word.txt

 

可以看到控制台有如下结果:

转载地址:https://blog.csdn.net/leijie0322/article/details/44281241 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:下一代Apache Hadoop MapReduce框架的架构
下一篇:hadoop1.0.2+spark1.0.2伪分布式安装总结

发表评论

最新留言

关注你微信了!
[***.104.42.241]2024年07月10日 08时07分25秒