可观测性与稳定性 / 系统课时
Prometheus 数据保存在哪里
Prometheus 数据保存在哪里
Prometheus 抓到的指标不会只留在内存里,而是写入自身的本地时序数据库 TSDB。本课把当前样本、WAL、历史 Block 和磁盘目录串起来,并给出检查实际数据目录的方法,避免把容器文件系统误当成可靠的历史存储。
学习目标
- 说清 Prometheus 本地 TSDB 中 Head、WAL 与历史 Block 的职责
- 找到实际的
storage.tsdb.path,并判断数据是否落在持久磁盘 - 理解为什么 Prometheus 重启通常不丢历史数据,而删除未挂卷的容器可能会丢
样本最终落在本地 TSDB
Prometheus Server 内置本地 TSDB。新抓取的样本先进入当前的 Head;为了在进程异常退出后恢复尚未形成持久 Block 的数据,样本同时写入 WAL。随后数据按时间窗口形成 Block,并在后台继续压缩合并。官方存储文档将其描述为 Prometheus 自带的本地磁盘时序数据库。([普罗米修斯][1])

这里的关键是:内存中的 Head 不等于数据只在内存。WAL 保护近期写入,历史样本则进入磁盘 Block。Prometheus 会把初始数据组织成约两小时的 Block,WAL 位于数据目录下,并可在服务重启时重放。([普罗米修斯][1])
数据目录里有什么
--storage.tsdb.path 决定本地数据库的基础目录,默认值是 data/。典型目录中会看到 wal/、chunks_head/,以及以 ULID 命名的 Block 目录;Block 通常包含 chunks/、index、meta.json,发生删除时还可能有 tombstones。([普罗米修斯][1])
不要把这些文件当普通日志手工清理。Block、索引和 WAL 共同维护 TSDB 数据;磁盘告急时应先处理保留策略、采集规模或扩容,而不是直接删除看起来最大的文件。
先确认实际存储路径
如果是二进制直接运行,数据目录可能是当前工作目录下默认的 data/,也可能由启动参数改到独立磁盘。先查看 Prometheus 进程的启动参数,再检查对应目录。
ps -ef | grep '[p]rometheus'
du -sh <PATH>
find <PATH> -maxdepth 2 -type f | head -n 10将 <PATH> 替换为启动参数 --storage.tsdb.path 指向的目录;若没有显式设置,再结合 Prometheus 的工作目录确认默认 data/ 的实际位置。
预期输出
prometheus ... --storage.tsdb.path=<PATH> ...
<SIZE> <PATH>
<PATH>/wal/<ID>
<PATH>/<ID>/meta.json
<PATH>/<ID>/index
...<SIZE>、<ID> 与文件数量会随运行时间和数据量变化。检查的重点不是文件名本身,而是确认这些文件位于预期的磁盘或挂载卷中。
容器里有文件不等于已经持久化
Prometheus 运行在 Docker 或 Kubernetes 中时,TSDB 仍然只是写本地文件系统。如果 storage.tsdb.path 落在容器可写层,进程重启时文件可能还在,但容器被重建、Pod 被重新调度或节点故障后,历史数据就可能消失。
因此应把数据目录挂到持久 Volume,并确认 Volume 的生命周期独立于 Prometheus 进程。Prometheus 本地存储本身不是集群复制数据库,节点或磁盘故障的耐久性要由底层存储、备份或远程存储方案补足。([普罗米修斯][1])
判断 Prometheus 数据保存在哪里时,不要只回答一个路径。完整答案应同时包含:逻辑上保存在本地 TSDB,物理上位于 storage.tsdb.path,生产环境还要确认该路径背后是不是持久磁盘。