大模型应用开发 / 系统课时

让删除与过期内容及时失效

让删除与过期内容及时失效

知识库里的文件即使已经撤回,只要旧向量仍能被检索,就可能继续进入回答上下文。本节建立“先逻辑失效、再物理清理”的机制,让删除、下线和有效期变化立即影响召回,同时保证索引清理失败时也不会把失效内容重新暴露给用户。

学习目标

  • 用状态字段和有效期条件阻止失效内容参与召回
  • 在源文档撤回或版本替换后同步清理向量索引
  • 设计可重试、可核对的物理删除流程,避免残留索引重新生效

失效不能只等物理删除

最危险的实现是“收到删除事件后直接删向量”。删除索引通常涉及消息队列、向量数据库或批处理任务,只要其中一次调用超时,旧内容就可能继续被检索。因此,逻辑失效必须先于物理删除生效。

可以把一份知识记录至少维护为 active、inactive、deleted 三类状态,并保存 valid_from、valid_until。在线检索只允许命中状态为 active、已经生效且尚未过期的记录。这样即使向量还没有从底层索引移除,它也无法进入召回结果。

文档失效与索引清理状态流转

把过滤条件放进每次检索

下面用 SQLite 模拟知识元数据。示例先查询仍有效的文档,再把其中一份文档下线,并证明它在物理删除之前已经无法被召回。真实系统中,同样的条件应放到向量数据库的 metadata filter、搜索引擎过滤条件或召回服务的统一查询层中。

python
import sqlite3

conn = sqlite3.connect(":memory:")
conn.execute("""
CREATE TABLE documents (
    id TEXT PRIMARY KEY,
    title TEXT NOT NULL,
    status TEXT NOT NULL,
    valid_from INTEGER NOT NULL,
    valid_until INTEGER
)
""")
conn.executemany(
    "INSERT INTO documents VALUES (?, ?, ?, ?, ?)",
    [
        ("doc-1", "退款规则 v2", "active", 100, None),
        ("doc-2", "旧版退款规则", "active", 50, 180),
        ("doc-3", "内部草稿", "inactive", 100, None),
    ],
)

now = 200
query = """
SELECT id, title
FROM documents
WHERE status = 'active'
  AND valid_from <= ?
  AND (valid_until IS NULL OR valid_until > ?)
ORDER BY id
"""

print(conn.execute(query, (now, now)).fetchall())

# 先逻辑下线,底层向量即使暂时未删除,也应立即停止召回。
conn.execute("UPDATE documents SET status = 'inactive' WHERE id = 'doc-1'")
print(conn.execute(query, (now, now)).fetchall())

预期输出:

text
[('doc-1', '退款规则 v2')]
[]

doc-2 因 valid_until=180 已过期,doc-3 因状态不是 active 被过滤;随后 doc-1 被逻辑下线,因此第二次查询为空。实际生产环境中的时间值会随 <TIME> 变化,但过滤原则不变。

再异步清理索引

逻辑失效完成后,再发布删除任务清理向量、倒排索引和缓存。删除任务应携带稳定的文档 ID 或版本 ID,而不是只依赖标题或文件路径,因为名称可能复用,路径也可能变化。

删除操作最好具备幂等性:目标已经不存在时仍按成功处理;调用失败则记录重试次数和最后错误。只有确认所有需要清理的索引副本都完成后,才把状态推进到 deleted。如果系统同时保留多个文档版本,删除旧版本时必须使用版本标识,避免把仍在线的新版本一并清除。

验证失效链路

上线前至少验证三条路径:人工下线后立即检索不到;到达 valid_until 后无需等待批任务即可检索不到;索引删除故意失败时,记录仍保持不可召回,并能由重试任务继续清理。

还应定期执行一致性核对:扫描状态已经是 inactive 或 deleted、但向量数据库仍存在的记录;同时检查仍为 active 却缺少索引的记录。前者属于残留索引,后者属于知识缺失,两类问题都需要告警和补偿任务。

可靠的失效机制不是“把向量删掉”这一条动作,而是把在线可见性和后台物理清理拆成两层:状态与有效期负责立即阻断召回,异步删除负责最终释放索引资源。这样即使清理链路短暂失败,已经撤回的企业资料也不会继续进入客服回答。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

让删除与过期内容及时失效

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通