机器学习与深度学习 / 系统课时

记录训练日志

记录训练日志

训练日志要回答四个问题:模型是否在收敛、指标是否改善、学习率当前是多少、每轮训练花了多久。这里用一个可直接运行的 PyTorch 示例,把这些值按 epoch 写入 JSONL,并同时完成格式与趋势校验,便于后续画曲线或比较实验。

学习目标

  • 设计包含损失、指标、学习率和耗时的最小日志字段。
  • 在训练循环中记录结构化 JSONL,而不是只打印不可检索的文本。
  • 校验日志条数、字段完整性和损失趋势,及时发现记录逻辑错误。

先固定每个 epoch 的日志字段

一条训练记录至少保留 epoch、loss、业务指标、lr 和 elapsed_ms。如果还有验证集,可再加入 val_loss 与 val_accuracy;不要把整个模型参数或每个 batch 的预测值塞进日志。

字段 示例 用途
epoch 3 对齐训练轮次
loss 1.6384 判断优化是否朝正确方向变化
abs_error 1.2800 示例业务指标,数值越低越好
lr 0.1 排查学习率调度是否生效
elapsed_ms <TIME> 观察训练吞吐或性能回退

真实项目通常按 epoch 记录验证指标,再按固定频率记录 batch 指标。例如每 100 个 step 记录一次,比每个 batch 都写文件更轻;GPU 训练中频繁调用 .item() 还可能触发同步,应只取真正需要的标量。

用 JSONL 写出结构化日志

下面的示例只优化一个参数 w,目标值为 2.0。每轮在更新参数前记录损失和绝对误差,因此前三轮损失可确定为 4.0000、2.5600、1.6384;耗时随机器不同而变化。

python
import json
import time
from pathlib import Path

import torch

log_path = Path("artifacts/train.jsonl")
log_path.parent.mkdir(parents=True, exist_ok=True)
log_path.write_text("", encoding="utf-8")

w = torch.nn.Parameter(torch.tensor(0.0, dtype=torch.float64))
target = torch.tensor(2.0, dtype=torch.float64)
optimizer = torch.optim.SGD([w], lr=0.1)

for epoch in range(1, 4):
    started = time.perf_counter()

    optimizer.zero_grad(set_to_none=True)
    loss = (w - target).pow(2)
    abs_error = (w - target).abs().item()
    loss.backward()
    optimizer.step()

    record = {
        "epoch": epoch,
        "loss": round(loss.item(), 4),
        "abs_error": round(abs_error, 4),
        "lr": optimizer.param_groups[0]["lr"],
        "elapsed_ms": round((time.perf_counter() - started) * 1000, 2),
    }

    with log_path.open("a", encoding="utf-8") as f:
        f.write(json.dumps(record, ensure_ascii=False) + "\n")

    print(
        f"epoch={epoch} loss={record['loss']:.4f} "
        f"abs_error={record['abs_error']:.4f} "
        f"lr={record['lr']:.3f} elapsed_ms={record['elapsed_ms']}"
    )

records = [
    json.loads(line)
    for line in log_path.read_text(encoding="utf-8").splitlines()
]
required = {"epoch", "loss", "abs_error", "lr", "elapsed_ms"}

assert len(records) == 3
assert all(required <= record.keys() for record in records)
assert records[-1]["loss"] < records[0]["loss"]

print(f"final_weight={w.item():.4f}")
print(f"records={len(records)}")
print(f"log_path={log_path}")

预期输出如下,其中 <TIME> 表示实际运行耗时,单位为毫秒,数值会因机器负载而不同。

text
epoch=1 loss=4.0000 abs_error=2.0000 lr=0.100 elapsed_ms=<TIME>
epoch=2 loss=2.5600 abs_error=1.6000 lr=0.100 elapsed_ms=<TIME>
epoch=3 loss=1.6384 abs_error=1.2800 lr=0.100 elapsed_ms=<TIME>
final_weight=0.9760
records=3
log_path=artifacts/train.jsonl

区分训练耗时与日志开销

计时区间要固定。若目的是比较模型训练速度,应把 forward、backward 和 optimizer.step() 放在同一计时区间,文件写入放在计时结束之后;否则磁盘速度会污染训练耗时。CUDA 异步执行时,若需要精确的端到端 GPU 时间,应在开始和结束计时前后调用 torch.cuda.synchronize(),CPU 示例则不需要。

日志频率也要可控。常用做法是 epoch 级日志每轮必写,batch 级日志使用 log_every_n_steps=100 一类的配置。一次训练有 50_000 个 batch 时,从每 batch 写一次降到每 100 个 step 写一次,可把文件写入次数从 50_000 次降到约 500 次。

用日志做最小验收

日志能写出来不代表记录正确。至少检查三件事:行数是否与 epoch 数一致、每行是否都有必需字段、损失或指标是否符合预期趋势。上面的 assert 已经覆盖这三类检查,并且失败时会直接中止程序。

在多实验项目中,还应给每次运行增加独立的 run_id、随机种子和配置快照,但不要把这些值散落在自由文本里。保持每行都是可解析的 JSON 对象,后续无论用 Python、Pandas 还是日志平台,都能直接按字段聚合和比较。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

记录训练日志

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通