本文共 1773 字，大约阅读时间需要 5 分钟。

   
  
Cloudera Manager管理界面出现爆红问题，主要涉及HDFS和Zookeeper组件。经过分析，问题源于各组件日志数据占用磁盘空间不足，导致系统异常报错。
  
   
  
在发现问题后，检查各目录磁盘占用情况为首要任务。通常，Cloudera相关组件的日志路径位于/var/log目录下。
  
   
  
通过在/var/log目录下查看磁盘占用排序。具体操作如下：
  
   
  
使用命令列出目录下所有子目录及文件，并按占用空间从大到小排序：cd /var/log && du -s ./* | sort -nr。
  
   
  
此外，需检查Cloudera Management Service生成的日志路径/var/lib/cloudera-service-monitor下的磁盘占用情况：cd /var/lib/cloudera-service-monitor && du -s ./* | sort -nr
  
   
  
针对日志清理，可按照下述步骤操作：
  
   
  
清理Cloudera Manager和CDH组件的日志：进入对应日志目录，删除文件名带有.log.或.out.的旧日志文件。
举例如下：
  
   
  
清理Hadoop MapReduce、HDFS、YARN和Zookeeper日志：rm -rf /var/log/hadoop-mapreduce/*.{log,out} /var/log/hadoop-hdfs/*.{log,out} /var/log/hadoop-yarn/*.{log,out} /var/log/zookeeper/*.{log,out}
  
   
  
此外，需注意监控服务日志可能占用较大空间。监控服务的日志路径通常位于/var/lib/目录下，建议清理相关目录中的旧日志文件：rm -rf /var/lib/cloudera-host-monitor/ts/* -rf /var/lib/cloudera-service-monitor/ts/*
  
   
  
清理完成后，建议重启相关服务，以确保问题得到完全解决。
  
   
  
为了实现日常管理的自动化，可以编写自动化脚本并设置定时任务。现附含有日志清理功能的脚本cleanLog.sh，仅对HDFS、Zookeeper、Cloudera Manager etc组件进行清理，可根据具体需求扩展。
  
   
  
脚本内容如下（仅供参考）：
  
   
  
#!/bin/bash
  
   
  
### 1. 清理Cloudera相关监控日志
  
   
  
rm -rf /var/lib/cloudera-host-monitor/ts/* -rf /var/lib/cloudera-service-monitor/ts/*
  
### 2. 清理CDH组件日志
  
   
  
rm -rf /var/log/cloudera-scm-eventserver/*.{out,log} /var/log/cloudera-scm-firehose/*.{out,log} /var/log/cloudera-scm-agent/*.{log,out} /var/log/cloudera-scm-server/*.{log,out}
  
同时清理HDFS相关日志文件：rm -rf /var/log/hadoop-hdfs/*.{out,log} /var/log/hadoop-httpfs/*.{out,log} /var/log/hadoop-kms/*.{out,log} /var/log/hadoop-mapreduce/*.{out,log}
  
### 3. 清理Zookeeper日志
  
   
  
rm -rf /var/log/zookeeper/*.{log,out}
  
### 4. 设置定时任务（按需求可调整时间）
  
   
  
设置crontab定时任务文件：crontab -e
  
   
  
在crontab输入以下命令，例如设置每周五下午7点清理日志：
  
   
  
00 19 * * 5 /root/clearLog.sh
  
完成以上步骤后，重启相关服务，并确保监控服务正常运行。