
Spark下如何运行Java版本的WordCount
发布日期:2021-05-27 02:54:32
浏览次数:36
分类:精选文章
本文共 495 字,大约阅读时间需要 1 分钟。
最近学习了Spark,并尝试通过Java编写一个简单的WordCount程序。由于对Scala不熟悉,因此从Java项目着手。以下是具体的测试代码,该程序中大部分功能的用法已在注释中说明。
为了运行该程序,需要引用以下JAR文件:Spark-assembly-1.0.0-hadoop1.0.4.jar。
WordCount程序的核心代码如下:
...(此处为WordCount.java的代码内容)
最后,需要将JAR包命名为JavaWordCount.jar,并按照以下命令运行:
bin/spark-submit --class org.project.modules.spark.java.WordCount
--master spark://centos.host1:7077/home/hadoop/project/JavaWordCount.jarhdfs://centos.host1:9000/user/hadoop/data/wordcount/001/word.txt在控制台可以看到以下结果:
[截图描述]
运行成功后,可以在控制台看到词计数量图及其具体结果。
发表评论
最新留言
哈哈,博客排版真的漂亮呢~
[***.90.31.176]2025年04月20日 02时00分04秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
Linux yum提示Loaded plugins错误的解决方法
2019-03-14
算法——203、移除链表元素(力扣)
2019-03-14
Netty的体系结构及使用
2019-03-14
xshell解决文本粘贴格式错误
2019-03-14
webpack新手教程2021
2019-03-14
什么是证券型代币?
2019-03-14
Android中获取并设置屏幕亮度
2019-03-14
Windows抓包工具-Fiddler
2019-03-14
Swift中使用DispatchGroup分组管理异步任务
2019-03-14
21-JS中常见的函数
2019-03-14
19-认识bootstrap
2019-03-14
为什么要使用UTF-8?
2019-03-14
Android多线程与双缓冲
2019-03-14
MVVM_Template
2019-03-14
栈上内存溢出漏洞利用之Return Address
2019-03-14
Bugku CTF web29(Web)
2019-03-14
网络+图片加载框架(英文版)
2019-03-14
扣非净利润连续三年亏损,四维图新如何熬过“转型阵痛期”?
2019-03-14
前台报Invalid Host/Origin Header错误
2019-03-14
Python imageio方法示例
2019-03-14