
本文共 10231 字,大约阅读时间需要 34 分钟。
Hadoop���������������������������������������������������
1. Hadoop������������������������
Hadoop���������������������������������������������������������������������������������������������HDFS���Hadoop���������������������������MapReduce���������������������������complete data analysis���������������������������������������������������������������������������������������������������������������������������������������������
2. Hadoop���������������������������
Hadoop������������������������������������������������������������������������������
- ��������������� ������������������������������������������������������
- ��������������������� ������������������������������NameNode���������������������������������������DataNode���������������������������������������
- ��������������������� ���������������������������NameNode���DataNode���������������������������
���������������
- ������������������������������������������������������
- ��������������������� NameNode ���������������������������������������
- ������������������������������������������������������������������������������������������
3. Hadoop���������������������
Hadoop���������������������������������������������
- core-site.xml���������������������������������������������������
- hdfs-site.xml���HDFS������������������DataNode������������������
- mapred-site.xml���MapReduce������������������������������������������
������������������$HADOOP_HOME/conf
������������������������������������������������������������
4. HDFS������������������
hdfs-site.xml���������������������������
- dfs.name.dir���������HDFS���������������������������
- dfs.data.dir���������HDFS���������������������
- fs.checkpoint.dir���������Namenode������������������
5. HDFS������������
HDFS���������������������������������������������������������������
6. MapReduce���������������
MapReduce���������������������������
7. ���������������������������
���������������MapReduce���������������������������������������������������������������������
- ������������������������������������������������������������������������������������
- ������previewing���������������������������������������������������
- ������������������������������������������������������������������
- ������������������������������������������������key���������������������
8. Hadoop������������������
/etc/hosts
������������������������������������������hadoopansa-site.xml
���ymask obdobony
���������etc/profile
���������Hadoop���������������hadoop namenode -format
������������������9.MapReduce������������������
- ���������������������������
hadoop job -list
���������������������������ID��� - ���������������������������������
hadoop job -kill hadoop-id
���������������������
10.MapReduce Combine���Partition������
- Combine������������������Map������������������������������������������������������������������������������������������������������
- Partition������Map���������������������������������������������������������Reduce������������������������������������������������������������������������
11. Hadoop Shuffling������
Shuffling���Map������������������������������������������������
12. ������������������������
���HBase������������������DataNode���������������������������������������������������������HBase������������������������������������������������������������������
13. HBase���Hadoop2������������
Hadoop2������������������������������
14. MapReduce Combine���������������
������Combine������������������������������������
15. Zk Zhuo Zong Understanding���������������Zookeeper���
Zookeeper������������������
- ���������������������������������������������
- ���������������������������������������������������������
- ������������������������������������������������������������������������
16. Hive���������������������
Hive������������������������������������
17. Hive������������������������������
- ���������������������������������
/user/hive/warehouse/
��������������������������������������������� - ���������������������������������������������������������������
���������
- ������������������������������������������
- ���������������������������������������������
18. UDF���������Hive������������
������HiveUDF������������������������
evaluate
���������������������������initialize
���getDisplayString
���evaluate
������������������������������19. Hive������������������������������
- order by���������������������������������������������������������������������������������������������
- sort by������������������Reduce������������������������������������Reduct������������������������������
20. HBase������������������
- ���������������������������������10-100���������������
- ������������������������������������������������������������������
- ������������������������������������IDENTITY���Unix���������
- ������������������������������������������������������������������
21. ���������������������
������������������������������������������������
22. Hive������������������
mapred.reduce.tasks
������23. HBase������������������
HBase���������������������
24. HBase RegionServer������������
HBase���RegionServer������������
25. HBase MetaStore������
HBase MetaStore���������������
- ���������������������������������������������������������������������������������������������������������������������������������
- ������������������ setBackgroundColor������������������������������������
26. HBase���������������������
HTableDescriptor
������������������������������������27. ������MySQL���������HBase
28. Various���������������������
- Redis���������������������������������������������������
- HBase������������������������������������������
- Hive���������������������������������������������������
29. HBase Scan������
- setCaching���setBatch���������������RPC���������
- setCaching������������������������������������������������������������������������������
- setBatch���������������������������������������
30. Flume���Logger4j������
- ���������������Flume���������������������������������������������
- ������������Logger4j������������������������������������
- ������������Logger4j������������������������������������������������������������������
31 Flume���Kafka������������
- Flume���������������������������������������������������������������������
- Kafka���������������������������������������������������������
32 Kafka������������
- ���������������������������������������������������������������������������
- ������������������������
(offset, key, value)
triplet������������������������1GB���
33 Spark���MapReduce������
- ���������������Spark���������������������MR���������������
- ���������Spark���������������������������������MR���������������������������������
- ���������������Spark���������������������������������������MR������������������������
34 ���������������������������
���������������������������������������������������������������������������
发表评论
最新留言
关于作者
