大模型应用开发 / 系统课时

在日志中脱敏敏感字段

在日志中脱敏敏感字段

生产环境的客服日志既要支持排障和审计,又不能把手机号、令牌、会话内容或工具参数原样写入日志。本节建立统一脱敏入口,用掩码、带密钥哈希和不落盘三类策略保护数据,并把必要的原始审计数据隔离到受控存储。

学习目标

  • 为请求体、会话、工具参数和模型响应定义可执行的敏感字段规则
  • 在统一日志入口实施掩码、带密钥哈希和不落盘策略
  • 将普通运维日志与受控原始审计数据分离,并验证访问边界

先给字段分级再决定如何处理

不要等日志写出后再做全文正则替换。更稳妥的做法是在结构化日志进入日志系统前,根据字段语义执行策略。字段名只是第一道信号,真正的规则应由数据分类和业务用途决定。

数据类型 典型字段 推荐动作 原因
凭证与密钥 authorization、cookie、password 不落盘 一旦泄露可直接被滥用
直接身份信息 phone、email、bank_account 掩码 排障通常只需要识别部分特征
稳定内部标识 user_id、customer_id 带密钥哈希 允许跨日志关联,又不暴露原值
模型完整响应 model_response 默认不落盘或仅存摘要 可能回显客户输入或知识库敏感内容

普通 SHA-256 不适合直接处理手机号、邮箱等低熵标识,因为攻击者可以枚举原值。需要稳定关联时,应使用服务端密钥参与的 HMAC,并把密钥放在密钥管理系统中而不是代码仓库。

客服日志脱敏与审计数据分流

在日志入口统一脱敏

下面的可运行示例对任意嵌套字典和列表统一处理。示例中的 HMAC 密钥只为得到确定输出,生产环境必须从密钥管理系统注入。

python
import hashlib
import hmac
import json

DROP_FIELDS = {"authorization", "cookie", "password", "model_response"}
MASK_FIELDS = {"phone", "email", "bank_account"}
HASH_FIELDS = {"user_id", "customer_id"}
DEMO_HASH_KEY = b"demo-only-key"

def mask(value):
    text = str(value)
    if len(text) <= 4:
        return "*" * len(text)
    return text[:2] + "*" * (len(text) - 4) + text[-2:]

def stable_hash(value):
    digest = hmac.new(
        DEMO_HASH_KEY,
        str(value).encode("utf-8"),
        hashlib.sha256,
    ).hexdigest()[:24]
    return f"hmac256:{digest}"

def sanitize(value):
    if isinstance(value, dict):
        result = {}
        for key, item in value.items():
            if key in DROP_FIELDS:
                continue
            if key in MASK_FIELDS:
                result[key] = mask(item)
            elif key in HASH_FIELDS:
                result[key] = stable_hash(item)
            else:
                result[key] = sanitize(item)
        return result
    if isinstance(value, list):
        return [sanitize(item) for item in value]
    return value

event = {
    "request_id": "req-001",
    "authorization": "Bearer demo-secret",
    "phone": "13800138000",
    "session": {"user_id": "user-1001", "topic": "refund"},
    "tool_args": {
        "bank_account": "6222020202020202",
        "order_id": "O-100",
    },
    "model_response": "Refund approved for the customer.",
}

print(json.dumps(sanitize(event), ensure_ascii=False, sort_keys=True))

预期输出:

text
{"phone": "13*******00", "request_id": "req-001", "session": {"topic": "refund", "user_id": "hmac256:89bcd58139808ac47b998afe"}, "tool_args": {"bank_account": "62************02", "order_id": "O-100"}}

这里最重要的不是这组字段名,而是所有日志写入都必须走同一个入口。如果 HTTP 中间件做了脱敏,但工具调用模块又直接 logger.info(tool_args),敏感信息仍会绕过规则。

单独保护必要的原始审计数据

有些争议处理、合规调查或安全事件确实需要回看原始数据,但这不意味着普通日志系统应该保留一份完整副本。更合理的边界是:常规日志只保存脱敏后的诊断信息,原始审计库只保存完成审计目标所必需的最小字段。

原始审计库至少要具备独立加密密钥、短且明确的保留期、最小权限角色、按需临时授权以及完整的读取审计记录。客服、研发和运维人员不应因为能查普通日志,就自动获得查看原始审计数据的权限。

用泄漏测试验证规则

上线前应构造一组只用于测试的假敏感值,例如假令牌、假手机号和假账号,让请求完整经过网关、客服服务、工具调用与模型响应链路。随后在普通日志存储中搜索这些原值:任何一次命中都说明存在绕过统一脱敏入口的路径。

验证还要覆盖异常分支。序列化失败、模型超时、工具报错和堆栈记录最容易把整个请求对象写入错误日志。只有正常路径与异常路径都无法检索到测试原值,同时授权用户仍能在受控审计库中按流程取到必要证据,脱敏设计才算真正生效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

在日志中脱敏敏感字段

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通