大数据与流处理 / 系统课时

动态表模型

动态表模型

动态表是理解 Flink SQL 流式计算的关键:输入流持续修改一张逻辑表,查询结果也会随之更新,并以变更日志流向下游。本课用订单状态统计说明插入、更新和撤回如何共同构成一张不断变化的结果表。

学习目标

  • 说明动态表、持续查询与变更日志流的关系
  • 区分追加、更新和撤回类型的结果变化
  • 判断查询结果能否写入只支持追加的数据接收端

从流到动态表

普通数据库表在一次查询开始时通常已有相对完整的数据;流处理面对的是持续到达的事件。Flink 将这些事件解释为对逻辑表的 INSERT、UPDATE 或 DELETE 修改,因此表的内容会随时间变化,称为动态表。

持续查询不会等待输入结束。每当输入动态表发生变化,查询都会更新结果动态表,并把结果变化编码成变更日志。动态表是逻辑视图,变更日志流则是它在物理数据流中的表达。

动态表持续查询与变更日志关系

变更日志如何表达更新

常见行类型可以记为:+I 表示插入,-U 表示更新前,+U 表示更新后,-D 表示删除。并非每个查询都会产生全部类型;实际模式取决于输入键、聚合方式以及优化器能否确定一行如何被唯一更新。

例如订单 A 从 CREATED 变为 PAID。从状态计数的角度看,这不是简单追加一条新结果,而是把 CREATED 的计数减一,再把 PAID 的计数加一。下游若只接受追加记录,就无法正确覆盖旧计数。

可运行示例

下面使用 fromChangelogStream 把带 RowKind 的数据流解释为动态表,再执行按状态计数的持续查询。代码放入已经配置 DataStream 与 Table API 依赖的 Java 项目中运行。

java
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.ChangelogMode;
import org.apache.flink.table.api.DataTypes;
import org.apache.flink.table.api.Schema;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.types.Row;
import org.apache.flink.types.RowKind;

public class DynamicTableDemo {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        StreamTableEnvironment tableEnv =
                StreamTableEnvironment.create(env);

        DataStream<Row> orderChanges = env.fromElements(
                Row.ofKind(RowKind.INSERT, "A", "CREATED"),
                Row.ofKind(RowKind.UPDATE_BEFORE, "A", "CREATED"),
                Row.ofKind(RowKind.UPDATE_AFTER, "A", "PAID"),
                Row.ofKind(RowKind.INSERT, "B", "CREATED")
        ).returns(Types.ROW_NAMED(
                new String[]{"order_id", "status"},
                Types.STRING,
                Types.STRING
        ));

        Schema schema = Schema.newBuilder()
                .column("order_id", DataTypes.STRING().notNull())
                .column("status", DataTypes.STRING())
                .primaryKey("order_id")
                .build();

        Table orders = tableEnv.fromChangelogStream(
                orderChanges,
                schema,
                ChangelogMode.all()
        );
        tableEnv.createTemporaryView("orders", orders);

        Table counts = tableEnv.sqlQuery(
                "SELECT status, COUNT(*) AS cnt " +
                "FROM orders GROUP BY status"
        );

        tableEnv.toChangelogStream(counts).print();
        env.execute("dynamic-table-demo");
    }
}

预期结果

text
结果流会先表示 CREATED=1;
订单 A 更新后,结果流会撤回或更新旧的 CREATED 计数,并产生 PAID=1;
订单 B 到达后,CREATED 再次变为 1。
控制台中的 +I、-U、+U、-D 组合可能因执行计划而不同,但最终动态表等价。

验证时不要只看单条日志,而要按主键和 RowKind 顺序应用全部变更。只要重放后得到 CREATED=1、PAID=1,就说明结果动态表正确。

查询结果的三种形态

只产生新行且旧行永不变化的查询,可以作为追加流输出,例如不带聚合的事件筛选。按键更新结果的查询通常产生 upsert 变更,需要下游知道主键并覆盖旧值。无法仅靠主键表达的变化可能包含撤回记录,接收端必须支持完整变更语义。

选择 Kafka、数据库或文件系统作为结果端时,要先核对连接器支持的变更模式。把更新流直接写入只追加文件,会保留多个历史版本;除非下游明确重放或去重,否则这不等于当前表状态。

易混淆点

动态表不是把所有历史事件永久放进内存的一张大表。它描述的是查询语义,真实状态由执行计划、状态后端、主键和保留策略共同决定。持续查询也不是周期性重跑整条 SQL,而是在新事件到达时增量维护受影响的结果。

批模式和流模式可以使用相似的 SQL,但数据边界不同。批输入有终点,最终结果通常一次性确定;流输入可能无界,因此结果通过持续变更逐步逼近当前状态。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

动态表模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通