CDH ������
��������������������������������������������������������������� Apache ���������Cloudera() ������������������Cloudera Distribution Hadoop������������CDH������CDH ������������������������������������������Hortonworks ���������Hortonworks Data Platform������������HDP������
cm-cloudera managerment ���������������
cdh-5.16.1 ������������������������������������
(1) ������������
vi /etc/hosts
(2) SSH ���������������
# ������������������������ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa# ��������������������������� master ������ ssh ���������������������������������������������(������������)������������������ masterssh-copy-id root@master# ��� master ���������������������������������������������������������������������������������scp ~/.ssh/authorized_keys root@slave1
������ SSH ������������������������
(3) ������������������ SELINUX
# ���������������systemctl stop firewalldsystemctl disable firewalld # ���������������������# ������ SELINUXsetenforce 0vi /etc/selinux/config (SELINUX=disabled)
(4) ������ JDK
(5) ������ MySQL
MySQL ������������ 5.6������������������
(6) ntp ������������
yum install ntp # ������ ntpsystemctl start ntpd # ������systemctl enable ntpd # ���������������������
ntp ��������������������������� /etc/ntp.conf ���������������������������������������������������������������������
vi /etc/ntp.confserver 192.168.180.190 # ������������#server 0.centos.pool.ntp.org iburst # ���������������������#server 1.centos.pool.ntp.org iburst#server 2.centos.pool.ntp.org iburst#server 3.centos.pool.ntp.org iburst
(7) ���������������
CentOS ���������������������������������������������������������������������
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
������Cloudera Manager Service ������
(1) ������ Cloudera Manager Server ��� Agent
mkdir -p /opt/cloudera-managertar -zxvf cloudera-manager-el7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/# ������ CM ��������������� vi /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agentserver_host=CDH-01server_port=7182# ������scp -r /opt/cloudera-manager root@CDH-02:/optscp -r /opt/cloudera-manager root@CDH-03:/opt
(2) ������������������������������ cloudera-scm���
useradd --system # ������������������������������������ --no-create-home # ��������������������� --shell=/bin/false # ��������������������������������� --comment "Cloudera SCM User" # ������ cloudera-scm # ���������
���������
cat /etc/passwd | grep cloudera-scm
(3) ������ CM Server ���������
# ��������������������������������� scm ��������������� scm ���������/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh -h CDH-01 -uroot -p123456 --scm-host CDH-01 mysql scm scm scm
��������� ��������������� java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
���������
������������������������������������ /usr/share/java ������������������������������������������CM ������������������hive sqoop������������������ /usr/share/java ������������������ ���������mysql-connector-java.jar ������������������
(3) ������ Parcel ���
1��������������� mkdir -p /opt/cloudera/parcel-repo # ��� server��������� mkdir -p /opt/cloudera/parcels # ������������ agent ��������������� mkdir -p /opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent # ������������ agent ��������������� 2������ CDH ��������������� sever ��� parcel-repo ��������� 3������������������������������ mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha4��������� parcel-repo parcels ������������������ chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/ # ��� server ��� chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels # ��� agent ���
(4) ������ CM Server ��� Agent
# ������ server ��� agent ������/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start
������������ tail ���f /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-server/cloudera-scm-server.log
web ������ 192.168.180.100:7180���������������������������������������������������������������������������
