容器与云原生 / 系统课时
容器日志采集
容器日志采集
Kubernetes 默认把容器写入标准输出和标准错误的内容作为容器日志。本节直接使用 kubectl logs 查询单容器、多容器和重启前实例,并进一步确认日志在 Linux 节点上的落盘位置与保留边界。
学习目标
- 使用
kubectl logs精确选择 Pod、容器和时间范围 - 获取容器重启前的上一实例日志
- 理解节点日志文件、轮转以及
kubectl logs的读取边界
查询单个容器日志
对于只有一个容器的 Pod,可以直接指定 Pod;对于多容器 Pod,建议始终显式提供 -c,避免脚本因为以后新增 sidecar 而改变行为。--tail 和 --since 能限制读取量,线上排障时通常比一次拉取全部日志更安全。
kubectl logs <POD> -c <CONTAINER> --tail=20 --timestamps预期输出:
<TIME> <LOG_LINE_1>
<TIME> <LOG_LINE_2><POD> 与 <CONTAINER> 替换为实际名称,<TIME> 和日志正文会随应用运行而变化。需要持续观察新日志时可增加 -f;只查看最近一段时间可以使用 --since=10m。
读取多容器 Pod
一个 Pod 可能同时包含业务容器、代理 sidecar 和初始化后的辅助容器。查询某个运行中容器时用 -c;需要快速比较所有运行中容器的日志,可以使用 --all-containers=true,并打开来源前缀。
kubectl logs <POD> --all-containers=true --prefix --tail=20预期输出:
<SOURCE_PREFIX> <LOG_LINE_1>
<SOURCE_PREFIX> <LOG_LINE_2>来源前缀用于区分日志属于哪个 Pod 和容器,具体显示内容可能随客户端版本及目标对象不同而变化。如果已经知道可疑容器,优先使用 -c <CONTAINER>,这样输出更少,也更容易保留事件顺序。
获取重启前实例日志
Pod 没有重建但其中某个容器发生崩溃并被 kubelet 重启时,当前 kubectl logs 看到的是新实例。此时 --previous 用来读取该容器上一个已终止实例的日志,这对分析 CrashLoopBackOff 尤其重要。
kubectl logs <POD> -c <CONTAINER> --previous --tail=100 --timestamps预期输出:
<TIME> <PREVIOUS_CONTAINER_LOG_LINE_1>
<TIME> <PREVIOUS_CONTAINER_LOG_LINE_2>--previous 不是历史日志查询系统。只有节点仍保存上一容器实例的可读日志时才能获取;如果 Pod 已被删除、迁移到其他节点,或者旧文件已经清理,就不能依靠这个参数长期追溯。
可以先查看 Pod 的重启次数,判断是否值得读取上一实例:
kubectl get pod <POD>预期输出:
NAME READY STATUS RESTARTS AGE
<POD> <VALUE> <STATUS> <VALUE> <TIME>当目标容器的重启次数大于 0 时,再结合 --previous、Pod 事件和应用退出原因定位故障。
节点上的日志文件
在常见的 Linux Kubernetes 节点上,容器运行时会按照 kubelet 约定保存容器的标准输出与标准错误日志,通常可以在 /var/log/pods 下看到实际日志文件,并通过 /var/log/containers 下的符号链接按容器维度访问。具体目录细节可能因运行时和发行版而异。
登录节点后可以检查实际文件布局:
sudo find /var/log/pods -maxdepth 4 -type f -name '*.log' | head预期输出:
/var/log/pods/<NAMESPACE>_<POD>_<ID>/<CONTAINER>/0.log<ID> 等值由集群动态生成。kubelet 会负责容器日志轮转相关管理,因此节点磁盘上的单个日志文件不会无限增长。kubectl logs 面向的是 kubelet 提供的容器日志接口,并不等价于直接读取节点上的所有历史轮转文件。
判断什么时候需要集中采集
kubectl logs 很适合查看仍可访问的 Pod 和容器,但它不能承担长期留存:Pod 删除、节点失效、日志轮转后,历史信息可能不再能通过 Kubernetes API 获取。需要跨 Pod 搜索、长期保留、审计或告警时,应把节点上的容器日志持续发送到独立的集中式日志系统。
排障时可以按“当前实例日志 → --previous 上一实例 → Pod 事件 → 节点日志文件”逐层取证。只要需要跨节点、跨时间范围查询,就不应继续依赖单个节点上的本地日志文件。