本文共 1122 字，大约阅读时间需要 3 分钟。

1、倒排索引案例（多文件串联处理

需求：

在大规模文本数据中，建立高效的搜索索引，实现快速的文本检索功能。案例中涉及多个文件的串联处理，要求对每个文件的关键词进行频率统计和倒排索引。

文件内容：

a.txt：

yyds pingping yyds ss

b.txt：

yyds pingping yyds pingpingping ping ss

c.txt：

yyds ssyyds pingping

期望输出：

yyds c.txt--2 b.txt--2 a.txt--3  pingping c.txt--1 b.txt--3 a.txt--1  ss c.txt--1 b.txt--1 a.txt--2

1.1 第一次处理

编写OneIndexMapper类，完成文本的读取和关键词提取工作。

代码实现：

package com.yyds.mapreduce.index;  import java.io.IOException;  import org.apache.hadoop.io.IntWritable;  import org.apache.hadoop.io.LongWritable;  import org.apache.hadoop.mapreduce.Mapper;

...（此处省略具体代码实现细节）

Mapper类的主要功能是将每个文件的内容读取出来，并将关键词及其出现频率记录下来。具体实现包括：

1. 读取输入文件的内容；

2. 对每一行文本进行关键词提取和统计；

3. 将统计结果通过Map阶段输出，供后续的Reduce阶段处理。

1.2 第二次处理

在Map阶段完成后，Reduce阶段将对所有文件的关键词频率进行汇总，生成最终的倒排索引。

Reduce类的实现重点：

1. 接收Map阶段输出的关键词频率信息；

2. 对同一个关键词在不同文件中的频率进行累加；

3. 根据倒排索引的需求，将关键词及其对应的文件信息记录下来。

1.3 最终输出

Reduce阶段完成后，程序会输出最终的倒排索引结果。用户可以通过查询关键词，查看其在各个文件中的具体信息。

案例分析：

根据提供的文件内容和期望输出，可以看出每个关键词在各个文件中的出现频率和位置信息。例如：

“yyds”在c.txt中出现2次，在b.txt中出现2次，在a.txt中出现3次；

“pingping”在c.txt中出现1次，在b.txt中出现3次，在a.txt中出现1次；

“ss”在c.txt中出现1次，在b.txt中出现1次，在a.txt中出现2次。

通过上述处理流程，可以实现对多文件文本的高效倒排索引，满足快速检索的需求。