
yarn开启Label Scheduler
通过命令添加标签要将特定标签添加到集群中,请运行以下命令:
发布日期:2021-05-18 08:26:11
浏览次数:12
分类:精选文章
本文共 1400 字,大约阅读时间需要 4 分钟。
YARN节点标签配置指南
一、配置文件夹和权限
在进行YARN节点标签配置之前,请先确保相关配置文件夹和权限已正确设置。执行以下命令:) [root@mypc01 ~]# hdfs dfs -mkdir -p /yarn/labels[root@mypc01 ~]# hdfs dfs -chmod 700 /yarn(
) 二、配置yarn-site.xml
编辑或创建`$HADOOP_HOME/etc/hadoop/yarn-site.xml`文件,将以下配置添加到文件末尾:) yarn.node-labels.enabled true yarn.node-labels.fs-store.root-dir hdfs://mypc01:8020/yarn/labels yarn.resourcemanager.scheduler.class org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler (
) 三、重启ResourceManager
按如下步骤重启 ResourceManager 服务:) # 停止 ResourceManager$HADOOP_HOME/sbin/yarn-daemon.sh stop resourcemanager# 启动 ResourceManager$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager (
) 四、YARN节点标签管理
<侯如何添加、替换或删除yarn节点标签呢?我们可以通过 resourcemanager web 界面或命令行工具进行操作。 通过命令添加标签要将特定标签添加到集群中,请运行以下命令: ) yarn rmadmin -addToClusterNodeLabels label1,label2 (
) 注意:请根据需要替换`label1,label2`为相关标签名称。所需标签将自动分配给集群中的所有 NodeManager 节点。 通过命令替换标签
要为特定节点更换标签,请运行以下命令: ) yarn rmadmin -replaceLabelsOnNode 192.168.10.101,label1 (
) 此命令将指定标签`label1`替换到目标节点处。如果需要同时指定多个标签,也可以在命令末尾相应增加标签名称。请注意,命令中的IP地址可选简化为主机名或完整的网络地址。 通过命令删除标签
要移除指定标签,请运行以下命令: ) yarn rmadmin -removeFromClusterNodeLabels label1,label2 (
) 请注意,执行此操作可能需要管理员权限。标签删除后,相关节点将不再显示在集群中。 查看YARN节点标签
想要查看集群中所有节点当前的标签,请通过命令行工具执行: ) [root@mypc01 hadoop]# yarn cluster --list-node-labels(
) 查看结果会显示集群中的所有节点标签及其对应的标签信息。通过命令输出结果,可以直接查看最新标签状态。 五、注意事项
- 如果需要为多个节点分配相同或者不同的标签,可以通过Bulk 运算来提高效率。- 添加或修改标签后,请确保相关的 NodeManager 需要重启以获取最新标签信息。- 为提高可读性,建议在配置中提供清晰且一致的标签命名规范。 侯如何添加、替换或删除yarn节点标签呢?我们可以通过>
发表评论
最新留言
网站不错 人气很旺了 加油
[***.192.178.218]2025年04月19日 15时48分36秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
Win10禁用自带的笔记本键盘
2019-03-16
insmod模块的几种常见错误
2019-03-16
shell及脚本4——shell script
2019-03-16
写时复制集合 —— CopyOnWriteArrayList
2019-03-16
什么是redis的缓存雪崩, 穿透, 击穿?
2019-03-16
数据帧CRC32校验算法实现
2019-03-16
【转载】DSP基础--定点小数运算
2019-03-16
idea thymeleaf页面变量报错解决
2019-03-16
云游戏,打响5G第一战
2019-03-16
Docker 拉取镜像速度太慢
2019-03-16
关于window匿名通道的使用以及所遇到的问题
2019-03-16
逆向工程初步160个crackme-------3
2019-03-16
WM_PAINT 与 WM_ERASEBKGND消息的深入分析
2019-03-16
初探MFC
2019-03-16
代码段段间跳转流程
2019-03-16
HUAWEI防火墙通过IKE方式协商IPSec隧道(采用预共享密钥认证)
2019-03-16
C语言自学笔记
2019-03-16
Android基础知识——数据存储方案
2019-03-16
Android基础知识——使用网络技术
2019-03-16
纵观四十岁的程序员们,他们究竟生活的怎么样?
2019-03-16