
Spark下如何运行Java版本的WordCount
发布日期:2021-05-27 02:54:32
浏览次数:4
分类:技术文章
本文共 464 字,大约阅读时间需要 1 分钟。
最近研究了下spark,因为scala还不熟,所以先学习了java的spark程序写法,下面是我的简单测试程序的代码,大部分函数的用法已在注释里面注明。这里需要用到一个jar文件:spark-assembly-1.0.0-hadoop1.0.4.jar
WordCount代码如下:
手动编译运行过程:
导出类文件生成jar包,这里生成为JavaWordCount.jar。
然后执行下面命令,其中--class 指定主类,--master 指定spark master地址,后面是执行的jar和需要的参数。
bin/spark-submit--class org.project.modules.spark.java.WordCount
--master spark://centos.host1:7077
/home/hadoop/project/mining.jarhdfs://centos.host1:9000/user/hadoop/data/wordcount/001/word.txt
可以看到控制台有如下结果:
转载地址:https://blog.csdn.net/leijie0322/article/details/44281241 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
能坚持,总会有不一样的收获!
[***.219.124.196]2023年11月14日 01时28分32秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
[PythonCookBook][迭代器和生成器] 如何跳过迭代器的前几个元素
2019-03-25
[通识] 陌生领域文本的逻辑分析和快速理解
2019-03-25
[5GC] UPF深度包检测(DPI)
2019-03-25
[5GC] UPF用户面功能
2019-03-25
[PythonCookBook][并发] 开启和终止线程
2019-03-25
[SONiC] OCP简介
2019-03-25
[PythonCookBook][并发] 判断线程启动与否的方法
2019-03-25
[云数据中心] 《云数据中心网络架构与技术》读书笔记 第八章 构建云数据中心端到端安全
2019-03-25
【哲学向】《反脆弱》一书带给我的启示(5)
2019-03-25
【哲学向】《反脆弱》一书带给我的启示(5.1. 时间和脆弱性)
2019-03-25
【心理学向】《思考,快与慢》带给我的启示(1)
2019-03-25
[SRv6]《SRv6网络编程》SRv6网络的演进
2019-03-25
N1文法「第1-第5」
2019-03-25
【日语】【歌词】「ヤキモチ」--高橋優
2019-03-25
[SRv6]《SRv6网络编程》SRv6网络在电信云中的应用
2019-03-25
[SRv6]《SRv6网络编程》SRv6网络在SD-WAN中的应用
2019-03-25