大数据与流处理 / 系统课时

设计可刷新物化视图

设计可刷新物化视图

Refreshable Materialized View 适合“查询本身很重,但结果允许延迟几分钟更新”的场景。本课用一个跨表汇总示例,把复杂 JOIN 和聚合从在线查询移到周期刷新,并用系统表判断刷新是否跟得上设定周期。

学习目标

  • 判断 Refreshable Materialized View 与增量物化视图的适用边界。
  • 创建定时全量重算的目标表与物化视图,并手工触发刷新验证结果。
  • 用刷新耗时、读取行数和新鲜度预算评估刷新周期是否合理。

先确认你需要的是周期重算

Refreshable Materialized View 会按 REFRESH 周期重新执行定义中的查询,默认把目标表的结果原子替换成新结果。它不依赖“本次新插入了哪些行”,因此特别适合复杂 JOIN、需要重新观察完整数据集,或允许一定陈旧度的报表与榜单。

代价也很直接:刷新越频繁,完整查询执行得越频繁。设计时至少同时看三个量:业务可接受的数据陈旧度、一次刷新实际耗时、刷新需要扫描的数据量。若一次刷新已经接近刷新间隔,继续缩短周期只会让后台计算长期处于高压状态。

Refreshable Materialized View 周期刷新链路

建立一个可重复刷新的汇总

下面的示例把订单与客户维度连接后,按客户分群汇总订单数和销售额。目标表只保存已经算好的两行结果,在线查询不再重复执行 JOIN。

sql
DROP TABLE IF EXISTS segment_sales_15m_mv;
DROP TABLE IF EXISTS segment_sales_15m;
DROP TABLE IF EXISTS orders;
DROP TABLE IF EXISTS customers;

CREATE TABLE customers
(
    customer_id UInt64,
    segment LowCardinality(String)
)
ENGINE = MergeTree
ORDER BY customer_id;

CREATE TABLE orders
(
    order_id UInt64,
    customer_id UInt64,
    amount Decimal(12, 2),
    created_at DateTime
)
ENGINE = MergeTree
ORDER BY (created_at, order_id);

INSERT INTO customers VALUES
    (1, 'enterprise'),
    (2, 'consumer'),
    (3, 'enterprise');

INSERT INTO orders VALUES
    (101, 1, 100.00, '2026-08-31 10:00:00'),
    (102, 2, 50.00, '2026-08-31 10:01:00'),
    (103, 3, 40.00, '2026-08-31 10:02:00'),
    (104, 2, 30.00, '2026-08-31 10:03:00');

CREATE TABLE segment_sales_15m
(
    segment LowCardinality(String),
    order_count UInt64,
    revenue Decimal(38, 2),
    refreshed_at DateTime
)
ENGINE = MergeTree
ORDER BY segment;

CREATE MATERIALIZED VIEW segment_sales_15m_mv
REFRESH EVERY 15 MINUTE TO segment_sales_15m
AS
SELECT
    c.segment,
    count() AS order_count,
    sum(o.amount) AS revenue,
    now() AS refreshed_at
FROM orders AS o
INNER JOIN customers AS c ON o.customer_id = c.customer_id
GROUP BY c.segment;

SYSTEM REFRESH VIEW segment_sales_15m_mv;
SYSTEM WAIT VIEW segment_sales_15m_mv;

SELECT
    segment,
    order_count,
    revenue
FROM segment_sales_15m
ORDER BY segment;

预期输出:

text
consumer   2   80.00
enterprise 2   140.00

SYSTEM REFRESH VIEW 用于立即请求刷新,SYSTEM WAIT VIEW 等待本次刷新完成后再继续验证。生产查询应直接读取 segment_sales_15m,而不是继续执行原始 JOIN;这样才真正把计算成本从请求路径移到了刷新路径。

用系统表检查刷新是否跟得上

刷新完成后,用 system.view_refreshes 看调度状态和最近一次实际工作量。重点不是追求某个固定行数,而是建立“刷新耗时与扫描量是否稳定”的基线。

sql
SELECT
    status,
    last_success_time,
    next_refresh_time,
    read_rows,
    written_rows
FROM system.view_refreshes
WHERE database = currentDatabase()
  AND view = 'segment_sales_15m_mv';

预期输出:

text
Scheduled   <TIME>   <TIME>   <VALUE>   2

<TIME> 和 <VALUE> 会随实际执行时间、版本和读取路径变化;这里稳定可验证的是视图回到调度状态,并且本次结果写入两行。若 last_success_time 长时间不前进,或单次刷新持续时间逼近 15 分钟,就应先处理刷新成本,而不是继续提高刷新频率。

把新鲜度和成本一起定下来

刷新周期不应只由“业务想多新”决定。可把可接受陈旧度视为上限,再为刷新执行本身留出余量:例如业务容忍 15 分钟陈旧,而刷新稳定需要 8 分钟,就已经没有太多抖动空间;源表继续增长后很容易积压。

如果需求是单表上的可增量聚合,并且结果必须接近实时,优先考虑增量物化视图。若需求包含复杂多表重算、允许分钟级陈旧,而且重算成本可控,Refreshable Materialized View 更自然。只有明确要保存“每次刷新时刻的历史快照”时才考虑 APPEND;普通报表快照应保持默认替换语义,避免同一逻辑结果被反复追加。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计可刷新物化视图

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通