解决IDEA:Failed to locate the winutils binary in the hadoop binary path
发布日期:2021-06-30 15:41:38
浏览次数:2
分类:技术文章
本文共 545 字,大约阅读时间需要 1 分钟。
出现这个问题一般是未找到本地上的Hadoop路径,环境变量没有配置或者是没有下载hadoop环境。
解决方法:
1.去官网下载自己需要的hadoop版本:
下载完后解压到指定的目录之下记住目录名字。
2.下载相对应的hadoop-common
将其中的放入原来hadoop的bin目录下
3.编辑环境变量
添加HADOOP_HOME
若没有则新建一个。
添加CLASSPATH
%HADOOP_HOME%\bin\winutils.exe
添加PATH
%HADOOP_HOME%\bin;
4.测试
import org.apache.spark.{SparkConf, SparkContext}object test { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Spark pi").setMaster("local") val sc = new SparkContext(conf) val data = sc.parallelize(1 to 10) data.foreach(println(_)) } }
跑一跑或者:
成功
转载地址:https://jxnuxwt.blog.csdn.net/article/details/115495061 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
很好
[***.229.124.182]2024年04月22日 13时43分36秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
select下拉框分组展示插件的使用--(select-mania插件的使用)
2019-04-30
Java Lambda表达式的应用--Stream API操作集合框架
2021-07-03
Myslq连接(JDBC)url属性的参数的设置
2021-07-03
关于Spring MVC与前端的交互
2021-07-03
大厂经典面试题:Redis为什么这么快?
2021-07-03
Android之Retrofit基本用法篇
2021-07-03
Netty与网络协议资料整理
2021-07-03
golang实现大数据量文件的排序
2021-07-03
golang中的time包
2021-07-03
2019NOIP D4题 加工领奖
2021-07-03
2021.5.19 JS高级第二天
2021-07-03
啊沙发沙发
2021-07-03
SpringBoot内置Tomcat配置参数
2021-07-03
局部加权回归
2021-07-03
ubuntu 快捷键
2021-07-03
linux 根目录下文件夹分析
2021-07-03
linux 查看分区和文件大小
2021-07-03
Not using PCAP_FRAMES 解释(snort中)
2021-07-03