解决IDEA:Failed to locate the winutils binary in the hadoop binary path
发布日期:2021-06-30 15:41:38 浏览次数:2 分类:技术文章

本文共 545 字,大约阅读时间需要 1 分钟。

出现这个问题一般是未找到本地上的Hadoop路径,环境变量没有配置或者是没有下载hadoop环境。

解决方法:

1.去官网下载自己需要的hadoop版本:

下载完后解压到指定的目录之下记住目录名字。

2.下载相对应的hadoop-common

将其中的放入原来hadoop的bin目录下

3.编辑环境变量

添加HADOOP_HOME

若没有则新建一个。

添加CLASSPATH

%HADOOP_HOME%\bin\winutils.exe

添加PATH

%HADOOP_HOME%\bin;

4.测试

import org.apache.spark.{SparkConf, SparkContext}object test {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("Spark pi").setMaster("local")    val sc = new SparkContext(conf)    val data = sc.parallelize(1 to 10)    data.foreach(println(_))  }    }

跑一跑或者:

成功

转载地址:https://jxnuxwt.blog.csdn.net/article/details/115495061 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:操作系统:银行家算法(C语言代码)详解
下一篇:Spark RDD数据操作函数以及转换函数一文详解运用与方法

发表评论

最新留言

很好
[***.229.124.182]2024年04月22日 13时43分36秒