机器学习与深度学习 / 系统课时
记录训练日志
记录训练日志
训练日志要回答四个问题:模型是否在收敛、指标是否改善、学习率当前是多少、每轮训练花了多久。这里用一个可直接运行的 PyTorch 示例,把这些值按 epoch 写入 JSONL,并同时完成格式与趋势校验,便于后续画曲线或比较实验。
学习目标
- 设计包含损失、指标、学习率和耗时的最小日志字段。
- 在训练循环中记录结构化 JSONL,而不是只打印不可检索的文本。
- 校验日志条数、字段完整性和损失趋势,及时发现记录逻辑错误。
先固定每个 epoch 的日志字段
一条训练记录至少保留 epoch、loss、业务指标、lr 和 elapsed_ms。如果还有验证集,可再加入 val_loss 与 val_accuracy;不要把整个模型参数或每个 batch 的预测值塞进日志。
| 字段 | 示例 | 用途 |
|---|---|---|
epoch |
3 |
对齐训练轮次 |
loss |
1.6384 |
判断优化是否朝正确方向变化 |
abs_error |
1.2800 |
示例业务指标,数值越低越好 |
lr |
0.1 |
排查学习率调度是否生效 |
elapsed_ms |
<TIME> |
观察训练吞吐或性能回退 |
真实项目通常按 epoch 记录验证指标,再按固定频率记录 batch 指标。例如每 100 个 step 记录一次,比每个 batch 都写文件更轻;GPU 训练中频繁调用 .item() 还可能触发同步,应只取真正需要的标量。
用 JSONL 写出结构化日志
下面的示例只优化一个参数 w,目标值为 2.0。每轮在更新参数前记录损失和绝对误差,因此前三轮损失可确定为 4.0000、2.5600、1.6384;耗时随机器不同而变化。
import json
import time
from pathlib import Path
import torch
log_path = Path("artifacts/train.jsonl")
log_path.parent.mkdir(parents=True, exist_ok=True)
log_path.write_text("", encoding="utf-8")
w = torch.nn.Parameter(torch.tensor(0.0, dtype=torch.float64))
target = torch.tensor(2.0, dtype=torch.float64)
optimizer = torch.optim.SGD([w], lr=0.1)
for epoch in range(1, 4):
started = time.perf_counter()
optimizer.zero_grad(set_to_none=True)
loss = (w - target).pow(2)
abs_error = (w - target).abs().item()
loss.backward()
optimizer.step()
record = {
"epoch": epoch,
"loss": round(loss.item(), 4),
"abs_error": round(abs_error, 4),
"lr": optimizer.param_groups[0]["lr"],
"elapsed_ms": round((time.perf_counter() - started) * 1000, 2),
}
with log_path.open("a", encoding="utf-8") as f:
f.write(json.dumps(record, ensure_ascii=False) + "\n")
print(
f"epoch={epoch} loss={record['loss']:.4f} "
f"abs_error={record['abs_error']:.4f} "
f"lr={record['lr']:.3f} elapsed_ms={record['elapsed_ms']}"
)
records = [
json.loads(line)
for line in log_path.read_text(encoding="utf-8").splitlines()
]
required = {"epoch", "loss", "abs_error", "lr", "elapsed_ms"}
assert len(records) == 3
assert all(required <= record.keys() for record in records)
assert records[-1]["loss"] < records[0]["loss"]
print(f"final_weight={w.item():.4f}")
print(f"records={len(records)}")
print(f"log_path={log_path}")预期输出如下,其中 <TIME> 表示实际运行耗时,单位为毫秒,数值会因机器负载而不同。
epoch=1 loss=4.0000 abs_error=2.0000 lr=0.100 elapsed_ms=<TIME>
epoch=2 loss=2.5600 abs_error=1.6000 lr=0.100 elapsed_ms=<TIME>
epoch=3 loss=1.6384 abs_error=1.2800 lr=0.100 elapsed_ms=<TIME>
final_weight=0.9760
records=3
log_path=artifacts/train.jsonl区分训练耗时与日志开销
计时区间要固定。若目的是比较模型训练速度,应把 forward、backward 和 optimizer.step() 放在同一计时区间,文件写入放在计时结束之后;否则磁盘速度会污染训练耗时。CUDA 异步执行时,若需要精确的端到端 GPU 时间,应在开始和结束计时前后调用 torch.cuda.synchronize(),CPU 示例则不需要。
日志频率也要可控。常用做法是 epoch 级日志每轮必写,batch 级日志使用 log_every_n_steps=100 一类的配置。一次训练有 50_000 个 batch 时,从每 batch 写一次降到每 100 个 step 写一次,可把文件写入次数从 50_000 次降到约 500 次。
用日志做最小验收
日志能写出来不代表记录正确。至少检查三件事:行数是否与 epoch 数一致、每行是否都有必需字段、损失或指标是否符合预期趋势。上面的 assert 已经覆盖这三类检查,并且失败时会直接中止程序。
在多实验项目中,还应给每次运行增加独立的 run_id、随机种子和配置快照,但不要把这些值散落在自由文本里。保持每行都是可解析的 JSON 对象,后续无论用 Python、Pandas 还是日志平台,都能直接按字段聚合和比较。