本文共 3206 字，大约阅读时间需要 10 分钟。

Elasticsearch 分词器

Elasticsearch 中内置了很多分词器（analyzers）,但是 Elasticsearch 提供的分词器都是英文分词器，对于中文检索来说，不太友好，因此先从一个中文分词器（ik-analyzer ）入手，来了解Elasticsearch 分词器的使用。

一、分词器介绍

1.1、内置分词器

1.2、常用分词器

二、中文分词器 ik-analyzer 实战

2.1、安装

2.1.1、下载->安装

安装流程：

1. 根据Elasticsearch不同版本，选择下载分词插件

2. 到Elasticsearch的plugins 目录创建文件夹 ik

   cd es安装目录-root/plugins/&& mkdir ik

3. 解压 ik 分词器插件到该ik文件夹中

   unzip elasticsearch-analysis-ik-visionNumber.zip如 unzip elasticsearch-analysis-ik-6.4.3.zip

4. 启动（./elasticsearch）elasticsearch (如下)，可以看到已经加载了 ik 分词器

   

2.1.2、命令行安装（Elasticsearch版本必须大于 5.5.1）

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/vversionNumber/elasticsearch-analysis-ik-versionNumber.zip

例如：

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.3.0/elasticsearch-analysis-ik-6.3.0.zip

重启Elasticsearch 即可

2.2、ik 分词器说明

Ik分词器：

• Ik 有两种分词模式：ik_max_word 和 ik_smart模式

补充说明：

• ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国\中华人民\中华\华人\人民共和国\人民\人\民\共和国\共和\和\国国\国歌”，会穷尽各种可能的组合。如下：
  
  
• ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国\国歌”。如下：
  

索引时，为了提供索引的覆盖范围，通常会采用ik_max_word分析器，会以最细粒度分词索引，搜索时为了提高搜索准确度，会采用ik_smart分析器，会以粗粒度分词。

2.3、实测

导入ik 分词器 后，重启Elasticsearch，创建索引 index。

创建索引成功，可在ElasticSearch Head 插件中查看到如下信息索引：

测试 ik 中文分词器：

使用Postman 发送POST请求 http://localhost:9200/index/_analyze?pretty=true,同时设置body为：

{	"analyzer":"ik_max_word",	"text": "中华人民共和国国歌"}//可通过修改"analyzer",来指定ik 中文分词器的两种分词模式

测试结果如下：

补充：

• 使用 Postman 创建 Elasticsearch 索引时，如果出现如下问题：
  
  可更改Postman 的 header如下，即可解决：
  
  创建索引成功！
  
• 当使用Postman 测试 Elasticsearch 分词器时，出现如下问题：
  
  修改Postman 的header为如下，即可解决

2.4、自定义扩展词库

2.4.1、本地自定义

1. 进入文件目录 【elasticsearch安装目录/plugins/ik/config】,建立文件 【文件名.dic】 ,自定义本地扩展词库，多个词的话，换行即可。如下：

2. 在【elasticsearch安装目录/plugins/ik/config/IKAnalyzer.cfg.xml】 中配置扩展词典的位置

   
   重启Elasticsearch ，测试结果如下：

   {	"analyzer":"ik_smart",	"text": "我和我的祖国我和我的家乡我和我的爱人我和我的父母"}

{	"analyzer":"ik_max_word",	"text": "我和我的祖国"}

2.4.2、远程词库

1. 搭建Springboot 项目

3. 测试结果如下：（远程词库支持热部署，等待时间有点长），重启 Elasticsearch 如下
   

{	"analyzer":"ik_max_word",	"text": "我在北京等你"}

{	"analyzer":"ik_smart",	"text": "我在北京等你"}

转载地址：https://blog.csdn.net/weixin_43452424/article/details/110939869 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！