NoSQL 与搜索 / 系统课时

中文分词策略

中文分词策略

中文搜索的关键不是“切得越多越好”,而是让文档入库时的词元与用户查询时的词元能够稳定相遇。本课将用 IK 分词器设计索引与搜索两套粒度,并通过 _analyze 验证结果。

学习目标

  • 说明中文分词与英文按空格切词的差异
  • 为不同字段选择索引阶段和搜索阶段的分词粒度
  • 使用 _analyze 对比分词结果并发现词典问题

中文分词为何要分阶段

中文句子通常没有天然空格,同一段文本可能存在多种切法。索引分析器负责把文档词元写入倒排索引,搜索分析器负责把用户输入转换成查询词元;二者可以不同,但必须保证查询词元有机会命中已写入的词元。

Elasticsearch 默认让查询沿用字段的索引分析器,也允许通过 search_analyzer 单独指定搜索分析器。IK 插件提供 ik_max_word 与 ik_smart:前者倾向产生更细的候选词元,后者倾向选择较粗的切分结果,而且两者结果不应被简单理解为严格的包含关系。

中文索引分析与搜索分析流程

选择索引与搜索粒度

常见商品搜索可以采用“索引较细、搜索较稳”的方案:索引阶段保留更多候选词,提高召回机会;搜索阶段减少过度拆分,避免一个短查询被扩散成大量弱相关词元。这是起点,不是所有字段的固定答案。

字段 推荐策略 原因
商品名称、文章标题 ik_max_word 索引,ik_smart 搜索 兼顾召回率与查询噪声
商品编码、订单号 keyword 标识符必须整体精确匹配
固定短语、品牌词 先测试,再决定两阶段是否一致 错切会直接降低精确匹配能力
长正文 结合业务词典评估 需要在召回率、索引体积和相关性之间平衡

选择粒度时应先收集真实查询词,再观察漏搜、误搜和短语匹配。若品牌、型号或行业术语被拆错,优先补充业务词典,不要仅靠切换到更细粒度掩盖问题。

创建字段并验证

下面示例假设所有 Elasticsearch 节点已经安装兼容版本的 IK 插件,且索引 products-cn 尚未创建。字段 name 在写入时使用 ik_max_word,查询时使用 ik_smart。

bash
ES_URL="${ES_URL:-http://localhost:9200}"

curl -s -X PUT "$ES_URL/products-cn" \
  -H 'Content-Type: application/json' \
  -d '{
    "mappings": {
      "properties": {
        "name": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_smart"
        }
      }
    }
  }'

预期输出

json
{"acknowledged":true,"shards_acknowledged":true,"index":"products-cn"}

随后分别调用两个分析器。filter_path=tokens.token 只保留词元,便于比较;具体词元会受插件版本和自定义词典影响,因此以下使用占位符表示实际结果。

bash
ES_URL="${ES_URL:-http://localhost:9200}"

echo "index_analyzer"
curl -s -X POST "$ES_URL/products-cn/_analyze?filter_path=tokens.token" \
  -H 'Content-Type: application/json' \
  -d '{"analyzer":"ik_max_word","text":"新能源汽车充电桩"}'

echo
echo "search_analyzer"
curl -s -X POST "$ES_URL/products-cn/_analyze?filter_path=tokens.token" \
  -H 'Content-Type: application/json' \
  -d '{"analyzer":"ik_smart","text":"新能源汽车充电桩"}'

预期输出

text
index_analyzer
{"tokens":[{"token":"<较细词元1>"},{"token":"<较细词元2>"},{"token":"<更多词元>"}]}

search_analyzer
{"tokens":[{"token":"<较粗词元1>"},{"token":"<较粗词元2>"}]}

实际验证时,不只比较词元数量,还要检查业务短语是否完整、同一型号是否被拆散,以及查询词元能否在索引词元中找到对应项。

关键边界与调优顺序

分词策略会影响新写入文档的倒排词元。修改字段的索引分析逻辑后,旧文档不会自动重新分词;若要让全部数据采用新规则,应建立新索引并执行重建,再通过别名切换流量。

调优应按“真实查询集 → _analyze 验证 → 小规模索引测试 → 相关性评估”的顺序进行。只看一个演示句子容易得到错误结论,尤其是品牌词、地名、型号和组合词。

本课总结

  • 索引分析器决定倒排索引中保存什么,搜索分析器决定查询拿什么去匹配
  • ik_max_word 索引配合 ik_smart 搜索是常见起点,但必须用业务语料验证
  • 修改索引阶段分词规则不会自动改写旧文档,完整生效通常需要重建索引

下一课预告

下一课将配置同义词与停用词,并区分搜索阶段热更新和索引阶段重建对现有数据的不同影响。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

中文分词策略

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通