文本信息检索系统实现

数据存储与预处理

• 语料库存储：每一行文本作为独立的文档，按行读取并存储到List中。
• 分词与词频统计：对每个文本进行分词操作，统计词语的出现频率。

布尔检索核心

• 支持布尔逻辑表达式输入（如AA and BB or CC）。
• 逐个评估每行文本是否符合条件，最终返回符合条件的前10项文本。

TF-IDF召回核心

• 字段抽取与分词：输入短语首先进行自动分词。
• TF值计算：统计词语在单文档中的出现频率。
• IDF值计算：统计词语在整个语料库中的分布情况。
• TF-IDF综合评分：为每个文档计算词语的综合得分，最高分文档作为召回结果。

输入处理

• 将输入表达式转换为适用于JavaScript脚本引擎的条件式。
• 对每个词语进行替换处理，生成对应的条件表达式。

脚本执行

• 将预处理后的挨条件表达式提交给脚本引擎执行。
• 判断每个文本是否满足条件，符合条件的文本按顺序输出。

分词处理

• 对输入短语进行分词，生成候选词列表。

TF值计算

• 对每个词语统计其在单文档中的出现频率。

IDF值计算

• 计算词语在整个语料库中的分布情况，IDF值= log(语料库总文档数 / 词语出现文档数)。

召回评分

• 每个文档根据TF-IDF值进行评分，评分公式为：TF_IDF = TF值 * IDF值。
• 按评分排序后，返回评分最高的前10项文档。

输入格式

• 使用布尔逻辑表达式输入，支持and、or、not等操作符，单词间用空格分隔。

输出结果

• 按符合条件的文本输出，返回最多前10项结果。

输入格式

• 输入不超过8个字的短语，系统自动进行分词处理。

输出结果

• 返回评分最高的前10项文本，附带详细的TF-IDF评分信息。

更多语言

更大语料库

用户自定义参数