大模型原理与训练 / 系统课时

安全加载第三方模型代码

安全加载第三方模型代码

部分 Hub 模型会把自定义 Python 类与权重一起发布,此时 trust_remote_code=True 不是普通兼容开关,而是在当前 Python 进程中授权执行仓库代码。本篇给出一条可落地的安全路径:先固定提交、只下载代码审查,再对已审查版本显式授权加载。

学习目标

  • 解释 trust_remote_code 为什么会扩大本地代码执行风险
  • 用不可变的 commit hash 固定 revision,避免审查后代码漂移
  • 按“固定版本→审查代码→确认依赖→授权加载”的顺序使用第三方模型

把信任开关当成代码执行授权

Transformers 内置架构通常由已安装的库代码实现;自定义模型则可在仓库的 config.json 中通过 auto_map 指向仓库里的 Python 类。启用 trust_remote_code=True 后,AutoClass 可以下载并导入这些模块,因此模块顶层代码、导入链和运行时调用都处在你的进程权限内。

这意味着风险不只来自模型的 forward 方法。导入阶段理论上就能访问当前用户可读写的文件、环境变量、网络和子进程能力。Hub 的扫描能降低部分已知风险,但不能替代代码审查;“仓库来自知名作者”也不等于“任意未来版本都自动可信”。

先固定 revision 再审查

revision 可以指定分支、标签或提交。安全审查场景应优先使用完整 commit hash:先确定要采用的提交,再基于同一个 hash 下载代码、完成审查,最后加载模型。这样审查对象与实际执行对象才能对应。

第三方模型远程代码安全加载流程

下面先只抓取一个体积较小的演示仓库中的 Python 与配置文件,不执行下载到本地的远程代码。示例固定到一个具体提交,因此后续看到的文件集合不会随 main 更新而变化。

python
from pathlib import Path

from huggingface_hub import snapshot_download

REPO_ID = "trl-internal-testing/tiny-RemoteForCausalLM"
REVISION = "19bab4f87af901acebc3ba09370656cedfee100a"

snapshot = Path(
    snapshot_download(
        repo_id=REPO_ID,
        revision=REVISION,
        allow_patterns=["*.py", "config.json"],
    )
)

for path in sorted(snapshot.rglob("*.py")):
    print(path.relative_to(snapshot))

预期输出(忽略下载进度信息):

text
configuration_minimal.py
configuration_remote.py
modeling_minimal.py
modeling_remote.py

此时再逐个阅读这些文件,并沿 import 继续检查依赖。重点关注导入阶段副作用、eval/exec、subprocess、文件写入、网络请求、动态下载、凭据读取以及不必要的原生扩展。第三方依赖也属于执行链的一部分,应确认来源和版本,而不是只审查仓库中的几份 .py 文件。

只执行已经审查的提交

审查通过后,加载时仍然必须复用完全相同的 REPO_ID 与 REVISION。下面的代码只有在前一步已经确认该提交可信后才应该执行;它使用 safetensors 权重的微型测试仓库,便于验证远程代码加载路径。

python
from transformers import AutoModelForCausalLM

REPO_ID = "trl-internal-testing/tiny-RemoteForCausalLM"
REVISION = "19bab4f87af901acebc3ba09370656cedfee100a"

model = AutoModelForCausalLM.from_pretrained(
    REPO_ID,
    revision=REVISION,
    trust_remote_code=True,
)

print("loaded reviewed revision:", REVISION)

预期输出(忽略下载进度信息):

text
loaded reviewed revision: 19bab4f87af901acebc3ba09370656cedfee100a

如果把 revision 删除,实际执行的代码就可能随默认分支变化,之前的审查结论也失去对应关系。若某个 AutoClass 场景把模型文件与代码放在不同仓库,还要检查该 API 是否提供 code_revision,并把代码版本单独固定。

把供应链边界一起固定

远程代码只是供应链的一层。生产交付还应记录 Transformers、PyTorch 及自定义依赖版本,优先使用可安全解析的权重格式,并在低权限、无长期凭据的环境中做首次验证。固定 commit、依赖锁定和隔离执行解决的是不同问题,不能互相替代。

最终判断标准很简单:只有当“将要执行的仓库代码”与“已经审查的具体提交”完全一致时,才开启 trust_remote_code=True。无法完成审查或无法固定版本时,最安全的选择就是不加载。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

安全加载第三方模型代码

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通