AI Agent / 系统课时
能力边界与人工责任
能力边界与人工责任
Codex 可以读代码、修改文件并运行开发命令,但“任务执行完成”不等于“结果正确且可以交付”。本课建立一条清晰的人机责任链:先限制授权范围,再审查变更和证据,最后由开发者决定是否合并、发布或执行高风险操作。
学习目标
- 识别 Codex 在理解、实现、验证和执行副作用上的主要失误点
- 理解沙箱、审批与最小权限只能限制影响范围,不能证明代码正确
- 建立从变更审查、测试验证到最终交付的人类责任闸门
把 Codex 当成可受控执行者
Codex 更适合被理解为“能操作开发环境的执行者”,而不是自动承担工程责任的最终决策者。它可以根据上下文修改代码、调用工具和运行测试,但仍可能误解需求、遗漏隐藏约束,或把一个局部通过的结果误判为整体可交付。

一个实用判断是:机器负责提出和执行候选变更,人负责定义边界、检查证据并承担最终决策。 即使某次操作被沙箱允许,也只说明它没有越过当前技术权限,并不说明业务逻辑、安全性或发布时机正确。
模型可能在哪里出错
常见问题可以沿任务链定位。需求理解阶段可能把“不要改接口”忽略掉;实现阶段可能引入竞态、兼容性问题或错误依赖;验证阶段可能只运行了局部测试;执行阶段还可能触发文件覆盖、网络访问、数据库写入等真实副作用。
| 环节 | 典型失误 | 人工控制 |
|---|---|---|
| 理解任务 | 漏掉隐含约束、边界条件 | 明确验收标准和禁止事项 |
| 修改代码 | 改动范围过大、实现逻辑错误 | 审查 diff 与关键调用链 |
| 自我验证 | 测试覆盖不足、误读输出 | 独立运行测试和静态检查 |
| 外部动作 | 写文件、联网或调用高权限工具 | 最小授权,高风险动作单独审批 |
尤其要警惕“测试通过所以一定正确”的推断。测试只能证明已经覆盖的断言通过,未被测试的输入、权限、并发、部署环境和数据状态仍可能失败。
授权只负责限制影响范围
沙箱和审批机制的核心作用是控制 Codex 能够接触什么、能够写到哪里、什么时候必须请求许可。日常开发应从最小权限开始:只开放当前项目目录,只在确有需要时开放网络或额外路径,不把个人主目录、凭据目录和生产密钥作为默认工作区。
当任务确实需要扩大权限时,应先说明原因、目标资源和预期副作用,再临时授权。任务结束后回到更窄的权限范围,比长期启用宽泛访问更容易审计和纠错。
用证据而不是语气决定是否接受
审查 Codex 的结果时,优先看可复现证据:改了哪些文件、测试到底运行了什么、命令退出码是否成功、是否新增依赖,以及失败路径有没有覆盖。下面用一个临时 Git 仓库演示最小审查动作。
tmp="${TMPDIR:-/tmp}/codex-review-demo"
rm -rf "$tmp"
mkdir -p "$tmp"
cd "$tmp"
git init -q
git config user.email "demo@example.invalid"
git config user.name "Demo"
printf 'print("v1")\n' > app.py
git add app.py
git commit -qm "baseline"
printf 'print("v2")\n' > app.py
git diff --check
git diff --stat
python app.py预期输出
app.py | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
v2git diff --check 在没有空白错误时不会输出内容。真实项目还应继续运行项目自己的测试、类型检查、lint 或构建命令,并把结果与验收标准逐项对应;仅凭 Codex 的自然语言说明不应直接合并。
最终责任留在人类闸门
低风险、可快速回退的局部修改可以让 Codex 提高执行速度,但仍应查看 diff 和基础验证结果。涉及认证、支付、权限、数据迁移、依赖供应链或生产发布时,应提高审查强度,并让熟悉该系统的负责人确认。
交付前至少回答三个问题:权限是否只覆盖必要范围、证据是否足以支持正确性、失败后是否有明确回退路径。 这三个问题没有被人类确认之前,Codex 的产物应视为候选方案,而不是已经完成的工程结论。