本文共 2508 字，大约阅读时间需要 8 分钟。

创建一个maven工程。

一、添加pom依赖。

       
    
     org.apache.spark
        
    
     spark-core_2.12
        
    
     3.1.1
    
   

我搭建的服务器安装的scala版本是2.12.10，spark版本是3.1.1，所以依赖一个版本匹配的pom包。大数据处理工程依赖包和服务器版本一致是必须要考虑的一个问题。

二、测试类。

package com.chris.spark;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.FlatMapFunction;import org.apache.spark.api.java.function.Function2;import org.apache.spark.api.java.function.PairFunction;import org.apache.spark.api.java.function.VoidFunction;import scala.Serializable;import scala.Tuple2;import java.util.Arrays;import java.util.Iterator;import java.util.stream.Collectors;/** * @author Chris Chan * Create on 2021/5/22 15:16 * Use for: * Explain: WordCount */public class WordCountTest implements Serializable {    public static void main(String[] args) {        new WordCountTest().execute(args);    }    private void execute(String[] args) {        //配置        SparkConf conf = new SparkConf();        conf.setAppName("SparkWordCountTest");        conf.setMaster("local");        //获取上下文        JavaSparkContext sparkContext = new JavaSparkContext(conf);        String filePath = getClass().getClassLoader().getResource("spark.txt").getFile();        JavaRDD
   
     linesRDD = sparkContext.textFile(filePath);        //map计算 拆分单词        JavaRDD
    
      wordJavaRDD = linesRDD.flatMap(new FlatMapFunction
     
      () {            @Override            public Iterator
      
        call(String s) throws Exception {                return Arrays.stream(s.split(" "))                        .map(String::trim)                        .filter(word -> !"".equals(word))                        .collect(Collectors.toList()).iterator();            }        });        //map计算 转换类型        JavaPairRDD
       
         javaPairRDD = wordJavaRDD.mapToPair(new PairFunction
        
         () { @Override public Tuple2
         
           call(String word) throws Exception { return new Tuple2<>(word, 1L); } }); //reduce计算 统计 JavaPairRDD
          
            wordCounts = javaPairRDD.reduceByKey(new Function2
           
            () { @Override public Long call(Long v1, Long v2) throws Exception { return v1 + v2; } }); //输出结果 wordCounts.foreach(new VoidFunction
            
             
              >() { @Override public void call(Tuple2
              
                stringLongTuple2) throws Exception { System.out.printf("%s,%d\n", stringLongTuple2._1, stringLongTuple2._2); } }); }}
              
             
            
           
          
         
        
       
      
     
    
   

从本地文本文件获取数据，经过map和reduce两次计算，获取单词使用频次统计结果并输出到控制台。

转载地址：https://blog.csdn.net/xxkalychen/article/details/117178189 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！