大数据面试题①
发布日期:2021-05-13 00:13:36 浏览次数:20 分类:精选文章

本文共 10231 字,大约阅读时间需要 34 分钟。

Hadoop���������������������������������������������������

1. Hadoop������������������������

Hadoop���������������������������������������������������������������������������������������������HDFS���Hadoop���������������������������MapReduce���������������������������complete data analysis���������������������������������������������������������������������������������������������������������������������������������������������

2. Hadoop���������������������������

Hadoop������������������������������������������������������������������������������

  • ��������������� ������������������������������������������������������
  • ��������������������� ������������������������������NameNode���������������������������������������DataNode���������������������������������������
  • ��������������������� ���������������������������NameNode���DataNode���������������������������

���������������

  • ������������������������������������������������������
  • ��������������������� NameNode ���������������������������������������
  • ������������������������������������������������������������������������������������������

3. Hadoop���������������������

Hadoop���������������������������������������������

  • core-site.xml���������������������������������������������������
  • hdfs-site.xml���HDFS������������������DataNode������������������
  • mapred-site.xml���MapReduce������������������������������������������

������������������$HADOOP_HOME/conf������������������������������������������������������������

4. HDFS������������������

hdfs-site.xml���������������������������

  • dfs.name.dir���������HDFS���������������������������
  • dfs.data.dir���������HDFS���������������������
  • fs.checkpoint.dir���������Namenode������������������

5. HDFS������������

HDFS���������������������������������������������������������������

  • ������������������������������HTTP���������NameNode���������������������
  • NameNode���������NameNode������������������������������������������������������������������DataNode���
  • ���������������������������������������������DataNode���������������
  • ������������������������������������������������������DataNode������������������
  • _METADATA synchronize������DataNode���������������������������
  • 6. MapReduce���������������

    MapReduce���������������������������

  • JobSubmission������������������������JobTracker������������Called TaskTracker������������������������
  • ������������������������������HDFS���������������
  • ���������������������������������������������������TaskTracker���������������
  • ������������������������������������������������������
  • Map���������������������������������������������Map���������
  • Shuffle���Sort���������������������������������Reduce���������
  • Reduce������������������������������������������������������
  • 7. ���������������������������

    ���������������MapReduce���������������������������������������������������������������������

    • ������������������������������������������������������������������������������������
    • ������previewing���������������������������������������������������
    • ������������������������������������������������������������������
    • ������������������������������������������������key���������������������

    8. Hadoop������������������

  • ������Hadoop���������������root������������������������������������
  • ������IP���������������/etc/hosts������������������������������������������
  • ������JVM���������������������������������������Java���SSH���������
  • ������SSH������������������������������������������������
  • ������Hadoop������������������������������������������������
  • ���������������������������������������������hadoopansa-site.xml���ymask obdobony���������
  • ������������������������etc/profile���������Hadoop���������������
  • ���������NameNode���������hadoop namenode -format������������������
  • 9.MapReduce������������������

    • ���������������������������hadoop job -list���������������������������ID���
    • ���������������������������������hadoop job -kill hadoop-id���������������������

    10.MapReduce Combine���Partition������

    • Combine������������������Map������������������������������������������������������������������������������������������������������
    • Partition������Map���������������������������������������������������������Reduce������������������������������������������������������������������������

    11. Hadoop Shuffling������

    Shuffling���Map������������������������������������������������

  • ������������������������Map���������������������������������������������������
  • ���������������������������������������������������Reduce������������������������������
  • ���������������������Map���Reduce���������������������������������������������
  • 12. ������������������������

    ���HBase������������������DataNode���������������������������������������������������������HBase������������������������������������������������������������������

    13. HBase���Hadoop2������������

    Hadoop2������������������������������

  • HDFS������������������������������������������������������������������
  • MapReduce������������������������������������������������������������YARN���������������������������������
  • ���������������������������������NameNode���������������������������������������������
  • 14. MapReduce Combine���������������

    ������Combine������������������������������������

  • ���Map���������������������������������Reduce���������������������������
  • ������MonsterMap���������Map������������������������������SkewMap���������Map���������������������������������
  • 15. Zk Zhuo Zong Understanding���������������Zookeeper���

    Zookeeper������������������

    • ���������������������������������������������
    • ���������������������������������������������������������
    • ������������������������������������������������������������������������

    16. Hive���������������������

    Hive������������������������������������

  • In-memory database���������������������������������������
  • Local MySQL���������Mysql������������������������
  • Remote MySQL���������������������������������������������������
  • 17. Hive������������������������������

    • ���������������������������������/user/hive/warehouse/���������������������������������������������
    • ���������������������������������������������������������������

    ���������

    • ������������������������������������������
    • ���������������������������������������������

    18. UDF���������Hive������������

    ������HiveUDF������������������������

  • ������UDF���������evaluate���������������������������
  • ������GenericUDF���������initialize���getDisplayString���evaluate������������������������������
  • 19. Hive������������������������������

    • order by���������������������������������������������������������������������������������������������
    • sort by������������������Reduce������������������������������������Reduct������������������������������

    20. HBase������������������

    • ���������������������������������10-100���������������
    • ������������������������������������������������������������������
    • ������������������������������������IDENTITY���Unix���������
    • ������������������������������������������������������������������

    21. ���������������������

    ������������������������������������������������

  • ���������������������������������������������
  • ���������������������������������������������������������
  • ������������������������������������������������������
  • ������������������������������������������
  • 22. Hive������������������

  • ���������������������������������������������������������
  • ������MapReduce������������������mapred.reduce.tasks������
  • ���������������������������������������������������������������������
  • 23. HBase������������������

    HBase���������������������

  • ���������������Zookeeper������������������ 2.leo������������������������������
  • ������������������������������RS���������
  • ���������������RS���������������������������
  • 24. HBase RegionServer������������

    HBase���RegionServer������������

  • ���������������������������Master������������������������
  • ���������������������Master���������������RegionServer���Region������������������������������������
  • ���������������������������RegionServer������������������������������������Region���
  • 25. HBase MetaStore������

    HBase MetaStore���������������

    • ���������������������������������������������������������������������������������������������������������������������������������
    • ������������������ setBackgroundColor������������������������������������

    26. HBase���������������������

  • ������������������������������������������������������������������
  • ������������������������������������������������������������������
  • ���������������������HTableDescriptor������������������������������������
  • 27. ������MySQL���������HBase

  • ������FLUME plugin������������������������������HBase���������������
  • ���������������������������HBase���������������������Region������������������������������
  • ������HFileOutputFormat���������������������HFile������������������������������������
  • 28. Various���������������������

    • Redis���������������������������������������������������
    • HBase������������������������������������������
    • Hive���������������������������������������������������

    29. HBase Scan������

    • setCaching���setBatch���������������RPC���������
    • setCaching������������������������������������������������������������������������������
    • setBatch���������������������������������������

    30. Flume���Logger4j������

    • ���������������Flume���������������������������������������������
    • ������������Logger4j������������������������������������
    • ������������Logger4j������������������������������������������������������������������

    31 Flume���Kafka������������

    • Flume���������������������������������������������������������������������
    • Kafka���������������������������������������������������������

    32 Kafka������������

    • ���������������������������������������������������������������������������
    • ������������������������(offset, key, value)triplet������������������������1GB���

    33 Spark���MapReduce������

    • ���������������Spark���������������������MR���������������
    • ���������Spark���������������������������������MR���������������������������������
    • ���������������Spark���������������������������������������MR������������������������

    34 ���������������������������

  • ������������������������������������������������������������������hdfs-site.xml���������������������
  • ���������������������������������������������������������������������������
  • ���������������������������������������������������������������������������

    上一篇:线程总结
    下一篇:Windows环境下自动化爬虫搭建及数据清洗(Kettle)

    发表评论

    最新留言

    表示我来过!
    [***.240.166.169]2025年04月11日 01时44分46秒