计算机网络 / 系统课时

抓取并还原完整报文

抓取并还原完整报文

只看浏览器 Network 面板,往往会漏掉起始行、连接细节或实际传输顺序。本节用 curl 的 --trace-ascii 抓取 HTTP/1.1 请求与响应,再按起始行、首部、空行、正文四段还原完整报文。

学习目标

  • 能用 curl 生成包含发送与接收数据的 HTTP/1.1 跟踪文件。
  • 能从 trace 中区分请求首部、请求正文、响应首部和响应正文。
  • 能按消息边界规则还原报文,并知道哪些字段不能直接对外分享。

用 trace 抓一份可复查的记录

现代 curl 7.x/8.x 都支持 --trace-ascii。下面命令强制使用 HTTP/1.1,把跟踪写入 trace.txt,把响应正文写入 body.html;--trace-time 给每条跟踪记录加时间,-sS 关闭进度条但保留错误信息。

bash
curl -sS --http1.1 --trace-ascii trace.txt --trace-time https://example.com/ -o body.html

预期结果:

text
成功时终端无输出;当前目录生成 trace.txt 和 body.html。

Windows PowerShell 如果把 curl 解析成别的命令,应显式运行 curl.exe。不要把真实登录接口直接拿来练习,因为 trace 可能包含 Authorization、Cookie、查询参数和响应正文中的敏感数据;curl 官方文档也明确提醒跟踪日志可能泄露凭据。

在 trace 里找四类数据

打开 trace.txt 后,不需要从第一行逐字读 TLS 和连接日志,先搜索 curl 的方向标记。=> Send header 对应发出的请求起始行与首部,=> Send data 对应请求正文;<= Recv header 对应响应状态行与首部,<= Recv data 对应响应正文。

trace 记录 还原到 HTTP 报文的位置 检查重点
=> Send header 请求起始行 + 请求首部 方法、目标、Host、认证和内容协商
=> Send data 请求正文 是否与 Content-Length 或传输编码一致
<= Recv header 状态行 + 响应首部 状态码、内容类型、消息边界
<= Recv data 响应正文 实际载荷以及是否存在分块或压缩

--trace-ascii 比 -v 更适合留档,因为它会记录发送和接收的数据以及描述信息;如果需要十六进制字节视图,可改用 --trace。两者与 --verbose 互斥,具体选项行为可查 curl 官方 trace 文档。

按四段结构还原请求与响应

还原时不要把 trace 自己的时间戳、偏移量和 == Info 行写进 HTTP 报文。请求从请求行开始,把连续首部按原顺序抄出,在首部后保留一个空行,再追加请求正文;响应同样从状态行开始处理。

下面是格式片段示例,用来说明“还原后的样子”,不是对 example.com 当前字段集合的硬编码。curl 版本会改变 User-Agent,服务端首部也可能随时间变化。

text
GET / HTTP/1.1
Host: example.com
User-Agent: curl/<VERSION>
Accept: */*

响应也按“状态行、首部、空行、正文”排列。如果 trace 中看到 Content-Length: <N>,就从空行之后按字节数确认正文边界;如果看到 Transfer-Encoding: chunked,则按块大小逐块读取直到大小为 0 的终止块。

text
HTTP/1.1 200 OK
Content-Type: text/html
Content-Length: <N>

<!doctype html>
...

如果你需要观察 chunked 的原始块大小,可以在实验命令中额外加 --raw,让 curl 不自动处理 HTTP 的传输编码后再输出正文。不要同时加 --compressed 做内容解压,否则“线上收到的字节”和“保存到文件里的字节”会更难直接对照。

curl trace 到完整 HTTP 报文的还原关系

用三项检查确认还原没有错位

第一项检查空行:HTTP/1.1 的起始行和首部之后必须有一个空行,正文从这个空行之后开始。第二项检查长度:有 Content-Length 时读取恰好指定字节数;chunked 时检查每个十六进制块大小,并确认最后存在大小为 0 的终止块。

第三项检查协议版本。浏览器访问同一站点时可能协商到 HTTP/2 或 HTTP/3,它们在线上不是 HTTP/1.1 的文本起始行加 chunked 格式,因此不能把 DevTools 中显示的字段机械拼成 HTTP/1.1 报文。本实验强制 --http1.1,就是为了让观察对象和还原规则一致。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

抓取并还原完整报文

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通