解决spark-shell启动,hdfs权限问题
发布日期:2021-05-04 21:00:03 浏览次数:19 分类:技术文章

本文共 488 字,大约阅读时间需要 1 分钟。

解决spark-shell启动,hdfs权限问题

环境

cdh6.3.2

问题

在启动spark-shell的时候,出现 /user/spark/driverLogs does not exist. Please create this dir in order to persist driver logs错误

在这里插入图片描述
在这里插入图片描述
虽然后面正常启动了,但是心中还是觉得创建一下这个日志路径比较好

尝试创建

hadoop dfs -mkdir -p /user/spark/driverLogs

在这里插入图片描述

可以看出我们权限被拒绝了,用户hdfs,用户组supergroup
,但是我们linux中默认是没有的supergroup,因此我们需要先添加用户组supergroup,然后将我们的用户添加到此用户组就能正常创建文件夹。同时也方便我们以后访问hdfs

groupadd supergroupusermod -a -G supergroup gugu

在这里插入图片描述

创建文件夹

hadoop dfs -mkdir -p /user/spark/driverLogs

在这里插入图片描述

spark-shell访问

spark-shell

在这里插入图片描述

上一篇:那些用过一次就不会卸载的软件
下一篇:Hadoop之Hive完整建表语句

发表评论

最新留言

做的很好,不错不错
[***.243.131.199]2025年04月04日 18时32分29秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

为何二战考生成功率远远大于应届? 2019-03-03
计算机专业【本科生】毕业还不如【专科生】? 2019-03-03
考研408联盟新添一所985!某知名大学专业课改用408! 2019-03-03
最有钱的大学是哪个?教育部直属高校公布2018年决算 2019-03-03
408的逆袭!武汉大学所有计算机/软件专业都改为408! 2019-03-03
408又多一所学校!广东某大学专业课改为408! 2019-03-03
【报名问题】考研现场确认时发现报考点选错了怎么办? 2019-03-03
100000+人体验过后都说:这TM绝对是最变态的英语学习方法…… 2019-03-03
广东省将新增一所“中科大”,办学规模初定1万人! 2019-03-03
提醒 | 未下载打印准考证的考生,不能参加2020年考研初试 2019-03-03
【调剂】2020年中科院上海光机所接收报考硕士研究生调剂生的通知 2019-03-03
【调剂】其它计算机/软件调剂信息 20.4.21 2019-03-03
【调剂】211 内蒙古大学计算机学院2020年拟接收调剂硕士研究生公告 2019-03-03
【调剂】浙江理工大学2020年硕士研究生调剂信息 2019-03-03
【调剂】华侨大学媒体分析与数据挖掘小组招收学硕调剂生 2019-03-03
分数线385!平均分399!985大学计算机的真正“实力”! 2019-03-03
【调剂】211云南大学2020年硕士研究生招生调剂通知 2019-03-03
【调剂】985复旦大学类脑智能科学与技术研究院硕士研究生招生接收校内调剂考生工作细则... 2019-03-03
【调剂】沈阳航空航天大学2020年硕士研究生调剂信息 2019-03-03
清华大学来山东了,成立新研究院! 2019-03-03