大模型应用开发 / 系统课时

执行关键词检索

执行关键词检索

向量检索擅长找语义相近内容,但产品编号、错误码和专有名词往往需要精确命中。本篇用可运行的 SQLite FTS5 示例建立关键词召回,并把结构化精确匹配与全文检索合并成一组候选文档。

学习目标

  • 判断哪些查询更适合关键词或全文检索
  • 建立精确字段与全文索引,并执行实际查询
  • 处理编号、错误码和自然语言关键词的匹配边界

关键词检索解决什么问题

RAG 查询中并非所有信息都适合依赖语义相似度。用户输入 P-1002、E_CONN_TIMEOUT 或某个固定 API 名称时,字符本身就是最强信号;只用向量检索,反而可能把语义相关但编号不同的文档排在前面。

因此可以把知识库中的产品编号、错误码等稳定标识保存为独立字段,对它们执行等值匹配;普通说明文字则建立全文索引。查询时合并两类结果,既保留精确命中,也能覆盖正文中的关键词。

建立精确字段和全文索引

下面使用 Python 标准库 sqlite3 创建三条知识文档。product_code 和 error_code 用于精确查询,docs_fts 负责正文全文检索。示例可以直接运行,不依赖外部数据库服务。

python
import sqlite3

conn = sqlite3.connect(":memory:")
conn.executescript("""
CREATE TABLE docs (
    id INTEGER PRIMARY KEY,
    product_code TEXT,
    error_code TEXT,
    content TEXT NOT NULL
);

CREATE VIRTUAL TABLE docs_fts USING fts5(content);

INSERT INTO docs VALUES
    (1, 'P-1002', NULL, 'P-1002 连接超时后的重置步骤'),
    (2, NULL, 'E_CONN_TIMEOUT', 'E_CONN_TIMEOUT 表示上游连接建立超时'),
    (3, 'P-2001', NULL, '向量召回适合语义近似问题');

-- rowid 与 docs.id 保持一致,便于从全文索引回到原文档。
INSERT INTO docs_fts(rowid, content)
SELECT id, content FROM docs;
""")

query = "P-1002"
fts_query = '"' + query.replace('"', '""') + '"'

sql = """
SELECT id, product_code, error_code, content
FROM docs
WHERE product_code = ? OR error_code = ?
UNION
SELECT d.id, d.product_code, d.error_code, d.content
FROM docs_fts AS f
JOIN docs AS d ON d.id = f.rowid
WHERE docs_fts MATCH ?
ORDER BY id
"""

rows = conn.execute(sql, (query, query, fts_query)).fetchall()
for row in rows:
    print(f"id={row[0]} product={row[1]} error={row[2]}")

预期输出

text
id=1 product=P-1002 error=None

UNION 会自动去除重复文档:即使 P-1002 同时命中结构化字段和正文全文索引,最终也只保留一条候选。生产系统还应把文档 ID、正文片段以及后续排序所需的分数一起返回。

为不同关键词选择匹配方式

产品编号、订单号、错误码和类名通常不应只依赖分词器。连字符、下划线等字符可能被全文检索器拆成多个 token,使所谓的“精确关键词”变成若干词的组合。因此,有明确业务语义的标识最好同时保存原始字段,并优先使用等值条件。

自然语言查询则适合全文索引,例如“连接建立超时”可以由倒排索引快速找到包含这些词的文档。实际 RAG 检索层可以先识别输入是否符合编号或错误码格式,再决定是否追加结构化过滤条件,而不是让所有查询都走同一种匹配规则。

把结果交给后续 RAG 流程

关键词检索的输出仍然只是候选文档,而不是最终回答。通常应保留文档 ID、匹配来源和相关性信息,再执行去重、排序、权限过滤以及 Top-K 截断,最后把选中的正文交给生成模型。

当查询包含产品编号、专有名词或错误码时,关键词检索提供的是向量相似度难以替代的确定性信号;把精确字段与全文索引分开处理,可以同时获得可控的精确匹配和自然语言召回能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行关键词检索

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通