本文共 3729 字，大约阅读时间需要 12 分钟。

MapReduce������������������

MapTask������������������

MapTask���MapReduce������������������������������������������������������������������������������������������������������������������������������������������������

���������������

MapTask������������������������������������������������������������������������"������"���Split������������������������������������������128M���������������������������������������������������������������������������������������������������1.1������������������������������������������������������������������������������������MapTask���������������������������������������������

HashPartitioner������������

���������������������MapTask���������������������������������������������������������������������������������������������������������������

MapTask���������

MapTask���������������������������������������������������MapTask������������������������������������������������������������������������������������������������MapTask������������������������������������������������������������������������������

������������������������300M������������������������������128M������������������������������������MapTask������������������������������������������

a���������0~128M���128M~256M���256M~300M������������������
b���������0~100M���1������������
������������4

ReduceTask������������

ReduceTask������

ReduceTask������MapTask������������������������������������������������������������������

ReduceTask���������

ReduceTask���������������������������1������������������������������������������������������������������������������������������������������������������������������

Shuffle������

Shuffle���������.MapReduce���������������������������������������Map���������Reduce������������������������������

���������������������

• ���������������������������������������������������������������
• ������������������������������������������������MapTask������������ReduceTask
• ������������������������������������������������������Reduce������������

Shuffle������������������������������ReduceTask���������������������������������������������������������

���������������������

���������������������MapReduce������������HashPartitioner������������������������������������������������������������������������������������Partitioner���������������

���������������������������������������

public class CustomPartition extends Partitioner
   
     {
  public int getPartition(Text text, PartitionBean partitionBean, int i) {
    if (text.toString().equals("xiaomi")) {
      return 0;
    } else if (text.toString().equals("huawei")) {
      return 1;
    } else {
      return 2;
    }
  }
}
   

������������������������������������������������������������������������������������������������������������������������������

���������������MapReduce������������������������������������������������������������������������������Reduce���������������������������������������������MapReduce���������������