大数据与流处理 / 系统课时
设计可刷新物化视图
设计可刷新物化视图
Refreshable Materialized View 适合“查询本身很重,但结果允许延迟几分钟更新”的场景。本课用一个跨表汇总示例,把复杂 JOIN 和聚合从在线查询移到周期刷新,并用系统表判断刷新是否跟得上设定周期。
学习目标
- 判断 Refreshable Materialized View 与增量物化视图的适用边界。
- 创建定时全量重算的目标表与物化视图,并手工触发刷新验证结果。
- 用刷新耗时、读取行数和新鲜度预算评估刷新周期是否合理。
先确认你需要的是周期重算
Refreshable Materialized View 会按 REFRESH 周期重新执行定义中的查询,默认把目标表的结果原子替换成新结果。它不依赖“本次新插入了哪些行”,因此特别适合复杂 JOIN、需要重新观察完整数据集,或允许一定陈旧度的报表与榜单。
代价也很直接:刷新越频繁,完整查询执行得越频繁。设计时至少同时看三个量:业务可接受的数据陈旧度、一次刷新实际耗时、刷新需要扫描的数据量。若一次刷新已经接近刷新间隔,继续缩短周期只会让后台计算长期处于高压状态。

建立一个可重复刷新的汇总
下面的示例把订单与客户维度连接后,按客户分群汇总订单数和销售额。目标表只保存已经算好的两行结果,在线查询不再重复执行 JOIN。
DROP TABLE IF EXISTS segment_sales_15m_mv;
DROP TABLE IF EXISTS segment_sales_15m;
DROP TABLE IF EXISTS orders;
DROP TABLE IF EXISTS customers;
CREATE TABLE customers
(
customer_id UInt64,
segment LowCardinality(String)
)
ENGINE = MergeTree
ORDER BY customer_id;
CREATE TABLE orders
(
order_id UInt64,
customer_id UInt64,
amount Decimal(12, 2),
created_at DateTime
)
ENGINE = MergeTree
ORDER BY (created_at, order_id);
INSERT INTO customers VALUES
(1, 'enterprise'),
(2, 'consumer'),
(3, 'enterprise');
INSERT INTO orders VALUES
(101, 1, 100.00, '2026-08-31 10:00:00'),
(102, 2, 50.00, '2026-08-31 10:01:00'),
(103, 3, 40.00, '2026-08-31 10:02:00'),
(104, 2, 30.00, '2026-08-31 10:03:00');
CREATE TABLE segment_sales_15m
(
segment LowCardinality(String),
order_count UInt64,
revenue Decimal(38, 2),
refreshed_at DateTime
)
ENGINE = MergeTree
ORDER BY segment;
CREATE MATERIALIZED VIEW segment_sales_15m_mv
REFRESH EVERY 15 MINUTE TO segment_sales_15m
AS
SELECT
c.segment,
count() AS order_count,
sum(o.amount) AS revenue,
now() AS refreshed_at
FROM orders AS o
INNER JOIN customers AS c ON o.customer_id = c.customer_id
GROUP BY c.segment;
SYSTEM REFRESH VIEW segment_sales_15m_mv;
SYSTEM WAIT VIEW segment_sales_15m_mv;
SELECT
segment,
order_count,
revenue
FROM segment_sales_15m
ORDER BY segment;预期输出:
consumer 2 80.00
enterprise 2 140.00SYSTEM REFRESH VIEW 用于立即请求刷新,SYSTEM WAIT VIEW 等待本次刷新完成后再继续验证。生产查询应直接读取 segment_sales_15m,而不是继续执行原始 JOIN;这样才真正把计算成本从请求路径移到了刷新路径。
用系统表检查刷新是否跟得上
刷新完成后,用 system.view_refreshes 看调度状态和最近一次实际工作量。重点不是追求某个固定行数,而是建立“刷新耗时与扫描量是否稳定”的基线。
SELECT
status,
last_success_time,
next_refresh_time,
read_rows,
written_rows
FROM system.view_refreshes
WHERE database = currentDatabase()
AND view = 'segment_sales_15m_mv';预期输出:
Scheduled <TIME> <TIME> <VALUE> 2<TIME> 和 <VALUE> 会随实际执行时间、版本和读取路径变化;这里稳定可验证的是视图回到调度状态,并且本次结果写入两行。若 last_success_time 长时间不前进,或单次刷新持续时间逼近 15 分钟,就应先处理刷新成本,而不是继续提高刷新频率。
把新鲜度和成本一起定下来
刷新周期不应只由“业务想多新”决定。可把可接受陈旧度视为上限,再为刷新执行本身留出余量:例如业务容忍 15 分钟陈旧,而刷新稳定需要 8 分钟,就已经没有太多抖动空间;源表继续增长后很容易积压。
如果需求是单表上的可增量聚合,并且结果必须接近实时,优先考虑增量物化视图。若需求包含复杂多表重算、允许分钟级陈旧,而且重算成本可控,Refreshable Materialized View 更自然。只有明确要保存“每次刷新时刻的历史快照”时才考虑 APPEND;普通报表快照应保持默认替换语义,避免同一逻辑结果被反复追加。