Spark下如何运行Java版本的WordCount
发布日期:2021-05-27 02:54:32 浏览次数:36 分类:精选文章

本文共 495 字,大约阅读时间需要 1 分钟。

最近学习了Spark,并尝试通过Java编写一个简单的WordCount程序。由于对Scala不熟悉,因此从Java项目着手。以下是具体的测试代码,该程序中大部分功能的用法已在注释中说明。

为了运行该程序,需要引用以下JAR文件:Spark-assembly-1.0.0-hadoop1.0.4.jar。

WordCount程序的核心代码如下:

...(此处为WordCount.java的代码内容)

最后,需要将JAR包命名为JavaWordCount.jar,并按照以下命令运行:

bin/spark-submit --class org.project.modules.spark.java.WordCount

--master spark://centos.host1:7077
/home/hadoop/project/JavaWordCount.jar
hdfs://centos.host1:9000/user/hadoop/data/wordcount/001/word.txt

在控制台可以看到以下结果:

[截图描述]

运行成功后,可以在控制台看到词计数量图及其具体结果。

上一篇:下一代Apache Hadoop MapReduce框架的架构
下一篇:fiddler抓包-查看get与post请求参数

发表评论

最新留言

哈哈,博客排版真的漂亮呢~
[***.90.31.176]2025年04月20日 02时00分04秒