PostgreSQL / 系统课时
记录任务进度与审计证据
记录任务进度与审计证据
生命周期任务会创建、摘除甚至删除数据对象。如果只留下调度器的一条“成功”日志,就无法确认处理范围、实际动作和校验结果。本课建立一套最小审计模型,把一次运行的批次、动作、验证和终态串成可查询的证据链。
学习目标
- 设计可追踪任务批次和处理范围的审计结构
- 记录生命周期动作、校验指标和失败信息
- 使用审计证据辅助异常定位和安全重跑
审计记录需要回答什么
一条可用的审计链至少要回答:哪次任务处理了什么时间范围、执行了哪些动作、每个动作是否成功,以及最终校验是否通过。仅保存自由文本日志,很难稳定关联动作,也不利于自动筛选失败和异常运行。
更合适的结构是拆成“运行批次”和“操作明细”两层。运行批次保存任务的数据窗口、总体状态和最终校验;操作明细保存对具体对象执行的创建、摘除、校验或删除动作,两者通过批次 ID 关联。

建立批次与动作审计表
下面的 DDL 是一套最小可用结构。lifecycle_run 保存任务级信息,lifecycle_action 保存逐动作证据。关键状态使用 CHECK 约束,避免不同脚本写入无法统一统计的自由文本。
CREATE TABLE lifecycle_run (
run_id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
job_name text NOT NULL,
range_start timestamptz NOT NULL,
range_end timestamptz NOT NULL,
status text NOT NULL CHECK (status IN ('RUNNING', 'SUCCESS', 'FAILED')),
validation_result jsonb,
started_at timestamptz NOT NULL DEFAULT clock_timestamp(),
finished_at timestamptz,
error_message text,
CHECK (range_start < range_end)
);
CREATE TABLE lifecycle_action (
action_id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
run_id bigint NOT NULL REFERENCES lifecycle_run(run_id),
action_type text NOT NULL,
object_name text NOT NULL,
status text NOT NULL CHECK (status IN ('SUCCESS', 'FAILED')),
detail jsonb,
executed_at timestamptz NOT NULL DEFAULT clock_timestamp()
);预期结果
CREATE TABLE
CREATE TABLEvalidation_result 和 detail 使用 jsonb,适合保存行数、校验结果、分区边界或归档对象标识等差异化证据;时间范围、状态和对象名仍使用普通列,便于过滤、约束和建立索引。
记录一次完整运行
任务启动时应先写入批次记录并立即取得 run_id。这个 ID 应贯穿本次执行的日志和动作记录,而不是等任务结束后再补写。
INSERT INTO lifecycle_run (
job_name, range_start, range_end, status
)
VALUES (
'monthly_partition_retention',
TIMESTAMPTZ '2026-03-01 00:00:00+00',
TIMESTAMPTZ '2026-04-01 00:00:00+00',
'RUNNING'
)
RETURNING run_id;预期结果
run_id
--------
<ID><ID> 是数据库生成的动态值,后续 SQL 应替换为实际返回值。完成某个生命周期动作后,应立即记录该动作,而不是只在批次结束时写一条汇总日志。
INSERT INTO lifecycle_action (
run_id, action_type, object_name, status, detail
)
VALUES (
<ID>,
'DETACH_PARTITION',
'event_log_202603',
'SUCCESS',
jsonb_build_object('range', '[2026-03-01,2026-04-01)')
);预期结果
INSERT 0 1校验通过后再把批次从 RUNNING 收敛到 SUCCESS,并写入实际验收指标。
UPDATE lifecycle_run
SET status = 'SUCCESS',
validation_result = jsonb_build_object(
'source_rows', 125000,
'archived_rows', 125000,
'row_count_match', true
),
finished_at = clock_timestamp()
WHERE run_id = <ID>
AND status = 'RUNNING';预期结果
UPDATE 1示例中的行数只用于展示字段结构,真实任务必须写入实际查询得到的校验值。保留 AND status = 'RUNNING' 也很重要,它能避免已经进入终态的批次被后续脚本再次覆盖。
让失败和孤儿运行留下证据
动作失败时,不能只让脚本退出并把批次永久留在 RUNNING。异常处理路径至少应写入失败终态、错误信息和结束时间。
UPDATE lifecycle_run
SET status = 'FAILED',
error_message = 'partition validation failed',
finished_at = clock_timestamp()
WHERE run_id = <ID>
AND status = 'RUNNING';预期结果
UPDATE 1调度系统还应识别“任务进程已经消失,但审计记录仍是 RUNNING”的孤儿批次。下面的查询可以筛选运行时间异常长的记录,但超时本身不能作为立即重做破坏性操作的依据。
SELECT run_id, job_name, range_start, range_end, started_at
FROM lifecycle_run
WHERE status = 'RUNNING'
AND started_at < clock_timestamp() - INTERVAL '2 hours'
ORDER BY started_at;预期结果可能为空
run_id | job_name | range_start | range_end | started_at
--------+----------+-------------+-----------+------------
(0 rows)如果查询返回记录,应先核对对应任务进程、数据库当前对象状态和 lifecycle_action 明细,再决定继续、补偿还是标记失败。
用证据辅助安全重跑
重跑前不能只看上一批次是否失败,还要确认目标对象是否已经成功执行过破坏性动作。下面的查询可检查指定分区是否存在成功摘除记录。
SELECT EXISTS (
SELECT 1
FROM lifecycle_action
WHERE action_type = 'DETACH_PARTITION'
AND object_name = 'event_log_202603'
AND status = 'SUCCESS'
) AS already_detached;预期结果
already_detached
------------------
t结果为 t 只表示审计表曾记录成功动作,并不能证明 PostgreSQL 当前状态仍与记录一致。重跑脚本应同时验证真实对象状态,再决定跳过、继续或补偿。审计表的职责不是替代数据库事实,而是把计划范围、实际动作、验证证据和最终状态串成可追踪、可恢复、可复盘的链路。