yarn开启Label Scheduler
发布日期:2021-05-18 08:26:11 浏览次数:12 分类:精选文章

本文共 1400 字,大约阅读时间需要 4 分钟。

YARN节点标签配置指南

一、配置文件夹和权限

在进行YARN节点标签配置之前,请先确保相关配置文件夹和权限已正确设置。执行以下命令:
) [root@mypc01 ~]# hdfs dfs -mkdir -p /yarn/labels[root@mypc01 ~]# hdfs dfs -chmod 700 /yarn()

二、配置yarn-site.xml

编辑或创建`$HADOOP_HOME/etc/hadoop/yarn-site.xml`文件,将以下配置添加到文件末尾:
)
yarn.node-labels.enabled
true
yarn.node-labels.fs-store.root-dir
hdfs://mypc01:8020/yarn/labels
yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
(
)

三、重启ResourceManager

按如下步骤重启 ResourceManager 服务:
) # 停止 ResourceManager$HADOOP_HOME/sbin/yarn-daemon.sh stop resourcemanager# 启动 ResourceManager$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager ()

四、YARN节点标签管理

<侯如何添加、替换或删除yarn节点标签呢?我们可以通过 resourcemanager web 界面或命令行工具进行操作。

通过命令添加标签要将特定标签添加到集群中,请运行以下命令:
) yarn rmadmin -addToClusterNodeLabels label1,label2 () 注意:请根据需要替换`label1,label2`为相关标签名称。所需标签将自动分配给集群中的所有 NodeManager 节点。

通过命令替换标签

要为特定节点更换标签,请运行以下命令:
) yarn rmadmin -replaceLabelsOnNode 192.168.10.101,label1 () 此命令将指定标签`label1`替换到目标节点处。如果需要同时指定多个标签,也可以在命令末尾相应增加标签名称。请注意,命令中的IP地址可选简化为主机名或完整的网络地址。

通过命令删除标签

要移除指定标签,请运行以下命令:
) yarn rmadmin -removeFromClusterNodeLabels label1,label2 () 请注意,执行此操作可能需要管理员权限。标签删除后,相关节点将不再显示在集群中。

查看YARN节点标签

想要查看集群中所有节点当前的标签,请通过命令行工具执行:
) [root@mypc01 hadoop]# yarn cluster --list-node-labels() 查看结果会显示集群中的所有节点标签及其对应的标签信息。通过命令输出结果,可以直接查看最新标签状态。

五、注意事项

- 如果需要为多个节点分配相同或者不同的标签,可以通过Bulk 运算来提高效率。- 添加或修改标签后,请确保相关的 NodeManager 需要重启以获取最新标签信息。- 为提高可读性,建议在配置中提供清晰且一致的标签命名规范。
上一篇:Hadoop Parquet格式入门
下一篇:Hbase如何实现增删查改?

发表评论

最新留言

网站不错 人气很旺了 加油
[***.192.178.218]2025年04月19日 15时48分36秒