NoSQL 与搜索 / 系统课时

同义词与停用词

同义词与停用词

同义词用于统一不同表达,停用词用于移除低价值词元;两者都放在分析链路中,却会以不同方式影响召回结果和规则更新。本课将完成可更新的搜索分析器,并明确何时必须重建索引。

学习目标

  • 编写等价同义词、定向同义词和停用词规则
  • 配置只用于搜索阶段的 synonym_graph 过滤器
  • 判断规则更新是否需要重新索引现有文档

两类规则的作用边界

同义词解决“用户说法不同但意图相同”的问题,例如把“耳麦”归一为“耳机”。停用词解决“某些词出现频率高但区分度低”的问题,例如在特定商品搜索中移除“的”“了”“和”。

搜索分析链路中的执行顺序很重要。位于同义词过滤器之前的过滤器也会参与解析同义词规则,因此停用词放在前面可能删除规则中的词并导致规则失效;本课把同义词放在停用词之前,先完成归一化,再移除无意义词元。

同义词与停用词搜索链路

编写规则并创建同义词集合

同义词规则常用 Solr 格式。逗号表示等价组,例如 手机, 移动电话;箭头表示定向归一,例如 耳麦 => 耳机。搜索系统通常优先使用定向规则,因为结果更可控,也更容易维护标准词。

以下示例适用于 Elasticsearch 8.10 及以上。先创建同义词集合,再创建引用它的索引;若索引先引用一个不存在的集合,索引可能处于不可用的部分创建状态。Synonyms API 管理的集合用于搜索阶段,更新后会自动重载关联的搜索分析器。

bash
ES_URL="${ES_URL:-http://localhost:9200}"

curl -s -X PUT "$ES_URL/_synonyms/shop-cn?filter_path=result" \
  -H 'Content-Type: application/json' \
  -d '{
    "synonyms_set": [
      {"id":"earphone","synonyms":"耳麦 => 耳机"},
      {"id":"mobile-phone","synonyms":"移动电话 => 手机"}
    ]
  }'

首次创建的预期输出

json
{"result":"created"}

若同名集合已经存在,接口会更新它,并返回 {"result":"updated"}。

配置搜索分析器

为了让规则行为可重复,示例使用 whitespace 分词器,并在测试文本中显式加入空格。生产环境应替换为已验证的中文分词器,但同义词集合、过滤器顺序和更新原则保持不变。

bash
ES_URL="${ES_URL:-http://localhost:9200}"

curl -s -X PUT "$ES_URL/products-rules" \
  -H 'Content-Type: application/json' \
  -d '{
    "settings": {
      "analysis": {
        "filter": {
          "shop_synonyms": {
            "type": "synonym_graph",
            "synonyms_set": "shop-cn",
            "updateable": true
          },
          "shop_stop": {
            "type": "stop",
            "stopwords": ["的", "了", "和"]
          }
        },
        "analyzer": {
          "shop_index": {
            "type": "custom",
            "tokenizer": "whitespace",
            "filter": ["lowercase"]
          },
          "shop_search": {
            "type": "custom",
            "tokenizer": "whitespace",
            "filter": ["lowercase", "shop_synonyms", "shop_stop"]
          }
        }
      }
    },
    "mappings": {
      "properties": {
        "name": {
          "type": "text",
          "analyzer": "shop_index",
          "search_analyzer": "shop_search"
        }
      }
    }
  }'

预期输出

json
{"acknowledged":true,"shards_acknowledged":true,"index":"products-rules"}

执行分析测试,确认“耳麦”被归一为“耳机”,停用词“的”被移除。

bash
ES_URL="${ES_URL:-http://localhost:9200}"

curl -s -X POST "$ES_URL/products-rules/_analyze?filter_path=tokens.token" \
  -H 'Content-Type: application/json' \
  -d '{"analyzer":"shop_search","text":"耳麦 的 保护套"}'

预期输出

json
{"tokens":[{"token":"耳机"},{"token":"保护套"}]}

更新规则与现有数据影响

通过 Synonyms API 更新 shop-cn 时,关联的搜索分析器会自动重载,因此后续查询会使用新规则,已写入文档无需重新索引。这个结论只适用于搜索阶段规则,不能推广到索引阶段分析器。

规则位置或存储方式 更新动作 是否重建现有文档
Synonyms API,搜索阶段 更新集合,关联分析器自动重载 否
同义词文件,搜索阶段 所有相关节点同步文件,再调用 _reload_search_analyzers 否
同义词或停用词,索引阶段 创建新索引并重新写入文档 是
静态分析器配置 采用版本化索引和别名切换 取决于是否改变索引词元

文件型同义词必须在相关节点保持一致,重载搜索分析器后还应清理请求缓存,避免旧缓存继续返回基于旧规则的结果。无论采用哪种方式,都应先调用 _analyze 验证规则,错误规则可能阻止分析器重载。

常见错误

不要把可更新的 synonym_graph 同时用于索引分析器。updateable: true 的过滤器应只服务于搜索分析器,否则索引中不同批次文档可能采用不同规则,结果难以解释。

不要将大量规则直接写在索引设置中。内联规则适合快速测试,生产环境更适合使用 Synonyms API;它便于集中维护,并能避免每次修改都重建索引设置。

本课总结

  • 同义词负责归一或扩展表达,停用词负责移除低价值词元,过滤器顺序会改变结果
  • 搜索阶段的 Synonyms API 规则可更新且无需重建现有文档
  • 任何改变索引阶段词元的规则都不会自动作用于旧文档,完整生效需要重新索引

下一课预告

下一课将把自定义分析器应用到实际字段映射中,并通过查询结果检查召回率、短语匹配和相关性排序。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

同义词与停用词

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通