计算机网络 / 系统课时
抓取并还原完整报文
抓取并还原完整报文
只看浏览器 Network 面板,往往会漏掉起始行、连接细节或实际传输顺序。本节用 curl 的 --trace-ascii 抓取 HTTP/1.1 请求与响应,再按起始行、首部、空行、正文四段还原完整报文。
学习目标
- 能用 curl 生成包含发送与接收数据的 HTTP/1.1 跟踪文件。
- 能从 trace 中区分请求首部、请求正文、响应首部和响应正文。
- 能按消息边界规则还原报文,并知道哪些字段不能直接对外分享。
用 trace 抓一份可复查的记录
现代 curl 7.x/8.x 都支持 --trace-ascii。下面命令强制使用 HTTP/1.1,把跟踪写入 trace.txt,把响应正文写入 body.html;--trace-time 给每条跟踪记录加时间,-sS 关闭进度条但保留错误信息。
curl -sS --http1.1 --trace-ascii trace.txt --trace-time https://example.com/ -o body.html预期结果:
成功时终端无输出;当前目录生成 trace.txt 和 body.html。Windows PowerShell 如果把 curl 解析成别的命令,应显式运行 curl.exe。不要把真实登录接口直接拿来练习,因为 trace 可能包含 Authorization、Cookie、查询参数和响应正文中的敏感数据;curl 官方文档也明确提醒跟踪日志可能泄露凭据。
在 trace 里找四类数据
打开 trace.txt 后,不需要从第一行逐字读 TLS 和连接日志,先搜索 curl 的方向标记。=> Send header 对应发出的请求起始行与首部,=> Send data 对应请求正文;<= Recv header 对应响应状态行与首部,<= Recv data 对应响应正文。
| trace 记录 | 还原到 HTTP 报文的位置 | 检查重点 |
|---|---|---|
=> Send header |
请求起始行 + 请求首部 | 方法、目标、Host、认证和内容协商 |
=> Send data |
请求正文 | 是否与 Content-Length 或传输编码一致 |
<= Recv header |
状态行 + 响应首部 | 状态码、内容类型、消息边界 |
<= Recv data |
响应正文 | 实际载荷以及是否存在分块或压缩 |
--trace-ascii 比 -v 更适合留档,因为它会记录发送和接收的数据以及描述信息;如果需要十六进制字节视图,可改用 --trace。两者与 --verbose 互斥,具体选项行为可查 curl 官方 trace 文档。
按四段结构还原请求与响应
还原时不要把 trace 自己的时间戳、偏移量和 == Info 行写进 HTTP 报文。请求从请求行开始,把连续首部按原顺序抄出,在首部后保留一个空行,再追加请求正文;响应同样从状态行开始处理。
下面是格式片段示例,用来说明“还原后的样子”,不是对 example.com 当前字段集合的硬编码。curl 版本会改变 User-Agent,服务端首部也可能随时间变化。
GET / HTTP/1.1
Host: example.com
User-Agent: curl/<VERSION>
Accept: */*响应也按“状态行、首部、空行、正文”排列。如果 trace 中看到 Content-Length: <N>,就从空行之后按字节数确认正文边界;如果看到 Transfer-Encoding: chunked,则按块大小逐块读取直到大小为 0 的终止块。
HTTP/1.1 200 OK
Content-Type: text/html
Content-Length: <N>
<!doctype html>
...如果你需要观察 chunked 的原始块大小,可以在实验命令中额外加 --raw,让 curl 不自动处理 HTTP 的传输编码后再输出正文。不要同时加 --compressed 做内容解压,否则“线上收到的字节”和“保存到文件里的字节”会更难直接对照。

用三项检查确认还原没有错位
第一项检查空行:HTTP/1.1 的起始行和首部之后必须有一个空行,正文从这个空行之后开始。第二项检查长度:有 Content-Length 时读取恰好指定字节数;chunked 时检查每个十六进制块大小,并确认最后存在大小为 0 的终止块。
第三项检查协议版本。浏览器访问同一站点时可能协商到 HTTP/2 或 HTTP/3,它们在线上不是 HTTP/1.1 的文本起始行加 chunked 格式,因此不能把 DevTools 中显示的字段机械拼成 HTTP/1.1 报文。本实验强制 --http1.1,就是为了让观察对象和还原规则一致。