PostgreSQL / 系统课时

记录任务进度与审计证据

记录任务进度与审计证据

生命周期任务会创建、摘除甚至删除数据对象。如果只留下调度器的一条“成功”日志,就无法确认处理范围、实际动作和校验结果。本课建立一套最小审计模型,把一次运行的批次、动作、验证和终态串成可查询的证据链。

学习目标

  • 设计可追踪任务批次和处理范围的审计结构
  • 记录生命周期动作、校验指标和失败信息
  • 使用审计证据辅助异常定位和安全重跑

审计记录需要回答什么

一条可用的审计链至少要回答:哪次任务处理了什么时间范围、执行了哪些动作、每个动作是否成功,以及最终校验是否通过。仅保存自由文本日志,很难稳定关联动作,也不利于自动筛选失败和异常运行。

更合适的结构是拆成“运行批次”和“操作明细”两层。运行批次保存任务的数据窗口、总体状态和最终校验;操作明细保存对具体对象执行的创建、摘除、校验或删除动作,两者通过批次 ID 关联。

生命周期任务审计证据链

建立批次与动作审计表

下面的 DDL 是一套最小可用结构。lifecycle_run 保存任务级信息,lifecycle_action 保存逐动作证据。关键状态使用 CHECK 约束,避免不同脚本写入无法统一统计的自由文本。

sql
CREATE TABLE lifecycle_run (
    run_id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
    job_name text NOT NULL,
    range_start timestamptz NOT NULL,
    range_end timestamptz NOT NULL,
    status text NOT NULL CHECK (status IN ('RUNNING', 'SUCCESS', 'FAILED')),
    validation_result jsonb,
    started_at timestamptz NOT NULL DEFAULT clock_timestamp(),
    finished_at timestamptz,
    error_message text,
    CHECK (range_start < range_end)
);

CREATE TABLE lifecycle_action (
    action_id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
    run_id bigint NOT NULL REFERENCES lifecycle_run(run_id),
    action_type text NOT NULL,
    object_name text NOT NULL,
    status text NOT NULL CHECK (status IN ('SUCCESS', 'FAILED')),
    detail jsonb,
    executed_at timestamptz NOT NULL DEFAULT clock_timestamp()
);

预期结果

text
CREATE TABLE
CREATE TABLE

validation_result 和 detail 使用 jsonb,适合保存行数、校验结果、分区边界或归档对象标识等差异化证据;时间范围、状态和对象名仍使用普通列,便于过滤、约束和建立索引。

记录一次完整运行

任务启动时应先写入批次记录并立即取得 run_id。这个 ID 应贯穿本次执行的日志和动作记录,而不是等任务结束后再补写。

sql
INSERT INTO lifecycle_run (
    job_name, range_start, range_end, status
)
VALUES (
    'monthly_partition_retention',
    TIMESTAMPTZ '2026-03-01 00:00:00+00',
    TIMESTAMPTZ '2026-04-01 00:00:00+00',
    'RUNNING'
)
RETURNING run_id;

预期结果

text
 run_id
--------
 <ID>

<ID> 是数据库生成的动态值,后续 SQL 应替换为实际返回值。完成某个生命周期动作后,应立即记录该动作,而不是只在批次结束时写一条汇总日志。

sql
INSERT INTO lifecycle_action (
    run_id, action_type, object_name, status, detail
)
VALUES (
    <ID>,
    'DETACH_PARTITION',
    'event_log_202603',
    'SUCCESS',
    jsonb_build_object('range', '[2026-03-01,2026-04-01)')
);

预期结果

text
INSERT 0 1

校验通过后再把批次从 RUNNING 收敛到 SUCCESS,并写入实际验收指标。

sql
UPDATE lifecycle_run
SET status = 'SUCCESS',
    validation_result = jsonb_build_object(
        'source_rows', 125000,
        'archived_rows', 125000,
        'row_count_match', true
    ),
    finished_at = clock_timestamp()
WHERE run_id = <ID>
  AND status = 'RUNNING';

预期结果

text
UPDATE 1

示例中的行数只用于展示字段结构,真实任务必须写入实际查询得到的校验值。保留 AND status = 'RUNNING' 也很重要,它能避免已经进入终态的批次被后续脚本再次覆盖。

让失败和孤儿运行留下证据

动作失败时,不能只让脚本退出并把批次永久留在 RUNNING。异常处理路径至少应写入失败终态、错误信息和结束时间。

sql
UPDATE lifecycle_run
SET status = 'FAILED',
    error_message = 'partition validation failed',
    finished_at = clock_timestamp()
WHERE run_id = <ID>
  AND status = 'RUNNING';

预期结果

text
UPDATE 1

调度系统还应识别“任务进程已经消失,但审计记录仍是 RUNNING”的孤儿批次。下面的查询可以筛选运行时间异常长的记录,但超时本身不能作为立即重做破坏性操作的依据。

sql
SELECT run_id, job_name, range_start, range_end, started_at
FROM lifecycle_run
WHERE status = 'RUNNING'
  AND started_at < clock_timestamp() - INTERVAL '2 hours'
ORDER BY started_at;

预期结果可能为空

text
 run_id | job_name | range_start | range_end | started_at
--------+----------+-------------+-----------+------------
(0 rows)

如果查询返回记录,应先核对对应任务进程、数据库当前对象状态和 lifecycle_action 明细,再决定继续、补偿还是标记失败。

用证据辅助安全重跑

重跑前不能只看上一批次是否失败,还要确认目标对象是否已经成功执行过破坏性动作。下面的查询可检查指定分区是否存在成功摘除记录。

sql
SELECT EXISTS (
    SELECT 1
    FROM lifecycle_action
    WHERE action_type = 'DETACH_PARTITION'
      AND object_name = 'event_log_202603'
      AND status = 'SUCCESS'
) AS already_detached;

预期结果

text
 already_detached
------------------
 t

结果为 t 只表示审计表曾记录成功动作,并不能证明 PostgreSQL 当前状态仍与记录一致。重跑脚本应同时验证真实对象状态,再决定跳过、继续或补偿。审计表的职责不是替代数据库事实,而是把计划范围、实际动作、验证证据和最终状态串成可追踪、可恢复、可复盘的链路。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

记录任务进度与审计证据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通