容器与云原生 / 系统课时

容器日志采集

容器日志采集

Kubernetes 默认把容器写入标准输出和标准错误的内容作为容器日志。本节直接使用 kubectl logs 查询单容器、多容器和重启前实例,并进一步确认日志在 Linux 节点上的落盘位置与保留边界。

学习目标

  • 使用 kubectl logs 精确选择 Pod、容器和时间范围
  • 获取容器重启前的上一实例日志
  • 理解节点日志文件、轮转以及 kubectl logs 的读取边界

查询单个容器日志

对于只有一个容器的 Pod,可以直接指定 Pod;对于多容器 Pod,建议始终显式提供 -c,避免脚本因为以后新增 sidecar 而改变行为。--tail 和 --since 能限制读取量,线上排障时通常比一次拉取全部日志更安全。

bash
kubectl logs <POD> -c <CONTAINER> --tail=20 --timestamps

预期输出:

text
<TIME> <LOG_LINE_1>
<TIME> <LOG_LINE_2>

<POD> 与 <CONTAINER> 替换为实际名称,<TIME> 和日志正文会随应用运行而变化。需要持续观察新日志时可增加 -f;只查看最近一段时间可以使用 --since=10m。

读取多容器 Pod

一个 Pod 可能同时包含业务容器、代理 sidecar 和初始化后的辅助容器。查询某个运行中容器时用 -c;需要快速比较所有运行中容器的日志,可以使用 --all-containers=true,并打开来源前缀。

bash
kubectl logs <POD> --all-containers=true --prefix --tail=20

预期输出:

text
<SOURCE_PREFIX> <LOG_LINE_1>
<SOURCE_PREFIX> <LOG_LINE_2>

来源前缀用于区分日志属于哪个 Pod 和容器,具体显示内容可能随客户端版本及目标对象不同而变化。如果已经知道可疑容器,优先使用 -c <CONTAINER>,这样输出更少,也更容易保留事件顺序。

获取重启前实例日志

Pod 没有重建但其中某个容器发生崩溃并被 kubelet 重启时,当前 kubectl logs 看到的是新实例。此时 --previous 用来读取该容器上一个已终止实例的日志,这对分析 CrashLoopBackOff 尤其重要。

bash
kubectl logs <POD> -c <CONTAINER> --previous --tail=100 --timestamps

预期输出:

text
<TIME> <PREVIOUS_CONTAINER_LOG_LINE_1>
<TIME> <PREVIOUS_CONTAINER_LOG_LINE_2>

--previous 不是历史日志查询系统。只有节点仍保存上一容器实例的可读日志时才能获取;如果 Pod 已被删除、迁移到其他节点,或者旧文件已经清理,就不能依靠这个参数长期追溯。

可以先查看 Pod 的重启次数,判断是否值得读取上一实例:

bash
kubectl get pod <POD>

预期输出:

text
NAME    READY   STATUS    RESTARTS   AGE
<POD>   <VALUE> <STATUS>  <VALUE>    <TIME>

当目标容器的重启次数大于 0 时,再结合 --previous、Pod 事件和应用退出原因定位故障。

节点上的日志文件

在常见的 Linux Kubernetes 节点上,容器运行时会按照 kubelet 约定保存容器的标准输出与标准错误日志,通常可以在 /var/log/pods 下看到实际日志文件,并通过 /var/log/containers 下的符号链接按容器维度访问。具体目录细节可能因运行时和发行版而异。

登录节点后可以检查实际文件布局:

bash
sudo find /var/log/pods -maxdepth 4 -type f -name '*.log' | head

预期输出:

text
/var/log/pods/<NAMESPACE>_<POD>_<ID>/<CONTAINER>/0.log

<ID> 等值由集群动态生成。kubelet 会负责容器日志轮转相关管理,因此节点磁盘上的单个日志文件不会无限增长。kubectl logs 面向的是 kubelet 提供的容器日志接口,并不等价于直接读取节点上的所有历史轮转文件。

判断什么时候需要集中采集

kubectl logs 很适合查看仍可访问的 Pod 和容器,但它不能承担长期留存:Pod 删除、节点失效、日志轮转后,历史信息可能不再能通过 Kubernetes API 获取。需要跨 Pod 搜索、长期保留、审计或告警时,应把节点上的容器日志持续发送到独立的集中式日志系统。

排障时可以按“当前实例日志 → --previous 上一实例 → Pod 事件 → 节点日志文件”逐层取证。只要需要跨节点、跨时间范围查询,就不应继续依赖单个节点上的本地日志文件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

容器日志采集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通