大模型应用开发 / 系统课时
执行关键词检索
执行关键词检索
向量检索擅长找语义相近内容,但产品编号、错误码和专有名词往往需要精确命中。本篇用可运行的 SQLite FTS5 示例建立关键词召回,并把结构化精确匹配与全文检索合并成一组候选文档。
学习目标
- 判断哪些查询更适合关键词或全文检索
- 建立精确字段与全文索引,并执行实际查询
- 处理编号、错误码和自然语言关键词的匹配边界
关键词检索解决什么问题
RAG 查询中并非所有信息都适合依赖语义相似度。用户输入 P-1002、E_CONN_TIMEOUT 或某个固定 API 名称时,字符本身就是最强信号;只用向量检索,反而可能把语义相关但编号不同的文档排在前面。
因此可以把知识库中的产品编号、错误码等稳定标识保存为独立字段,对它们执行等值匹配;普通说明文字则建立全文索引。查询时合并两类结果,既保留精确命中,也能覆盖正文中的关键词。
建立精确字段和全文索引
下面使用 Python 标准库 sqlite3 创建三条知识文档。product_code 和 error_code 用于精确查询,docs_fts 负责正文全文检索。示例可以直接运行,不依赖外部数据库服务。
import sqlite3
conn = sqlite3.connect(":memory:")
conn.executescript("""
CREATE TABLE docs (
id INTEGER PRIMARY KEY,
product_code TEXT,
error_code TEXT,
content TEXT NOT NULL
);
CREATE VIRTUAL TABLE docs_fts USING fts5(content);
INSERT INTO docs VALUES
(1, 'P-1002', NULL, 'P-1002 连接超时后的重置步骤'),
(2, NULL, 'E_CONN_TIMEOUT', 'E_CONN_TIMEOUT 表示上游连接建立超时'),
(3, 'P-2001', NULL, '向量召回适合语义近似问题');
-- rowid 与 docs.id 保持一致,便于从全文索引回到原文档。
INSERT INTO docs_fts(rowid, content)
SELECT id, content FROM docs;
""")
query = "P-1002"
fts_query = '"' + query.replace('"', '""') + '"'
sql = """
SELECT id, product_code, error_code, content
FROM docs
WHERE product_code = ? OR error_code = ?
UNION
SELECT d.id, d.product_code, d.error_code, d.content
FROM docs_fts AS f
JOIN docs AS d ON d.id = f.rowid
WHERE docs_fts MATCH ?
ORDER BY id
"""
rows = conn.execute(sql, (query, query, fts_query)).fetchall()
for row in rows:
print(f"id={row[0]} product={row[1]} error={row[2]}")预期输出
id=1 product=P-1002 error=NoneUNION 会自动去除重复文档:即使 P-1002 同时命中结构化字段和正文全文索引,最终也只保留一条候选。生产系统还应把文档 ID、正文片段以及后续排序所需的分数一起返回。
为不同关键词选择匹配方式
产品编号、订单号、错误码和类名通常不应只依赖分词器。连字符、下划线等字符可能被全文检索器拆成多个 token,使所谓的“精确关键词”变成若干词的组合。因此,有明确业务语义的标识最好同时保存原始字段,并优先使用等值条件。
自然语言查询则适合全文索引,例如“连接建立超时”可以由倒排索引快速找到包含这些词的文档。实际 RAG 检索层可以先识别输入是否符合编号或错误码格式,再决定是否追加结构化过滤条件,而不是让所有查询都走同一种匹配规则。
把结果交给后续 RAG 流程
关键词检索的输出仍然只是候选文档,而不是最终回答。通常应保留文档 ID、匹配来源和相关性信息,再执行去重、排序、权限过滤以及 Top-K 截断,最后把选中的正文交给生成模型。
当查询包含产品编号、专有名词或错误码时,关键词检索提供的是向量相似度难以替代的确定性信号;把精确字段与全文索引分开处理,可以同时获得可控的精确匹配和自然语言召回能力。