HDFS使用appendToFile报错WARN hdfs.DFSClient: DataStreamer Exception java.io.IOException: Failed
发布日期:2021-06-30 15:41:17
浏览次数:4
分类:技术文章
本文共 666 字,大约阅读时间需要 2 分钟。
报错提示说原文件已经被视为bad datanode了,具体不知道怎么被视作的。参考hadoop错误解决方案:
先看看文件是否有写权限。
往空文件中追加就相当于直接写文件,所以能追加进去,而往有内容的文件中追加不进去是因为datanode节点数不够三个,其他虚拟机没有开无法进行文件备份。
解决方法1:
至少打开三个节点。
解决方法2:
修改hdfs-site.xml文件,添加或者修改如下两项: < property> < name> dfs.client.block.write.replace-datanode-on-failure.enable </ name> < value>true</ value> </ property> < property> < name> dfs.client.block.write.replace-datanode-on-failure.policy </ name> < value>never</ value> </ property> 添加或修改完成后,重试即可。解决方法3:
在客户端的代码里面加入:
conf = new Configuration();
conf.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER" );conf.set("dfs.client.block.write.replace-datanode-on-failure.enable",
"true" );转载地址:https://jxnuxwt.blog.csdn.net/article/details/108864159 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
初次前来,多多关照!
[***.217.46.12]2024年04月30日 18时53分03秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
LoadRunner12——回放脚本
2019-05-01
python多线程_thread与threading(推荐使用)
2019-05-01
pip安装openpyxl失败,更换镜像源
2019-05-01
python 使用ddt数据驱动
2019-05-01
selenium之 如何控制网页内嵌div中滚动条的滚动
2019-05-01
【经验分享】XPATH逻辑运算
2019-05-01
python+selenium 浏览器无界面模式运行
2019-05-01
appium的XPATH获取text值的方式与selenium区别
2019-05-01
处理appium获取toast内容
2019-05-01
解决uiautomatorviewer中添加xpath的方法
2019-05-01
Windows Server R2 安装python时报策略不允许的解决方案
2019-05-01
pip无法安装:换成国内镜像
2019-05-01
python安装mysqlclient[MySQLdb]
2019-05-01
性能测试的必要性评估以及评估方法
2019-05-01
性能测试需求分析
2019-05-01
性能测试需求评审
2019-05-01
性能测试实施流程
2019-05-01
Jmeter在多线程当中对某个http请求进行循环读取配置文件
2019-05-01
Python读取配置文件中文乱码问题
2019-05-01