消息队列 / 系统课时

窗口、聚合与连接

窗口、聚合与连接

本节把无界事件流变成可计算的时间片,并在同一条拓扑里完成分组聚合与流表连接。完成后,你能解释窗口何时关闭、迟到记录何时被接纳或丢弃,并写出可运行的 Kafka Streams DSL 处理链路。

学习目标

  • 使用事件时间和 TimeWindows 定义固定窗口与 grace。
  • 对分组后的流做窗口聚合,并读取窗口键中的起止时间。
  • 使用 KStream 与 KTable 连接,并区分普通流表连接与窗口迟到语义。

用事件时间切开无界流

Kafka Streams 默认使用记录时间戳参与窗口计算。固定窗口可以理解为左闭右开的区间,例如 5 分钟窗口 [10:00, 10:05)。窗口本身没有“等墙上时钟 5 分钟就关闭”的概念,真正影响迟到判断的是任务看到的 stream-time。

TimeWindows.ofSizeAndGrace(Duration.ofMinutes(5), Duration.ofMinutes(1)) 表示窗口大小为 5 分钟,并额外允许 1 分钟迟到。若某个窗口结束于 10:05,当该任务的 stream-time 已推进到 10:06 之后,再到达时间戳为 10:04 的记录就太晚,窗口聚合会丢弃它。

事件时间窗口、grace 与流表连接关系

实现窗口聚合与流表连接

下面的程序把 orders 主题的 key 视为客户 ID、value 视为订单金额;customer-tier 主题维护客户等级。订单流一边连接当前 KTable 状态,一边按 5 分钟窗口累计金额。

java
import java.time.Duration;
import java.time.Instant;
import java.util.Properties;

import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.KafkaStreams;
import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.StreamsConfig;
import org.apache.kafka.streams.kstream.Consumed;
import org.apache.kafka.streams.kstream.Grouped;
import org.apache.kafka.streams.kstream.KStream;
import org.apache.kafka.streams.kstream.KTable;
import org.apache.kafka.streams.kstream.TimeWindows;

public class WindowJoinApp {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(StreamsConfig.APPLICATION_ID_CONFIG, "window-join-demo");
        props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");

        StreamsBuilder builder = new StreamsBuilder();
        KTable<String, String> tiers = builder.table(
                "customer-tier",
                Consumed.with(Serdes.String(), Serdes.String()));

        KStream<String, Long> orders = builder
                .stream("orders", Consumed.with(Serdes.String(), Serdes.String()))
                .mapValues(Long::parseLong);

        // 流表连接用于按客户当前等级丰富订单事件。
        orders.join(tiers, (amount, tier) -> tier + ":" + amount)
                .foreach((customer, value) ->
                        System.out.printf("JOIN %s => %s%n", customer, value));

        // grace 决定窗口结束后还能接受多晚的事件。
        orders.groupByKey(Grouped.with(Serdes.String(), Serdes.Long()))
                .windowedBy(TimeWindows.ofSizeAndGrace(
                        Duration.ofMinutes(5), Duration.ofMinutes(1)))
                .reduce(Long::sum)
                .toStream()
                .foreach((key, total) -> System.out.printf(
                        "SUM %s @ [%s, %s) => %d%n",
                        key.key(),
                        Instant.ofEpochMilli(key.window().start()),
                        Instant.ofEpochMilli(key.window().end()),
                        total));

        KafkaStreams streams = new KafkaStreams(builder.build(), props);
        Runtime.getRuntime().addShutdownHook(new Thread(streams::close));
        streams.start();
    }
}

预期结果

text
应用启动后保持运行并等待 customer-tier 与 orders 主题中的记录。

先写入客户等级,再写入两个订单。这样能避免示例中订单先于维表状态到达。

bash
printf 'customer-a:gold\n' | kafka-console-producer.sh --bootstrap-server localhost:9092 --topic customer-tier --property parse.key=true --property key.separator=:
printf 'customer-a:1200\ncustomer-a:2300\n' | kafka-console-producer.sh --bootstrap-server localhost:9092 --topic orders --property parse.key=true --property key.separator=:

预期输出

text
JOIN customer-a => gold:1200
SUM customer-a @ [<TIME>, <TIME>) => 1200
JOIN customer-a => gold:2300
SUM customer-a @ [<TIME>, <TIME>) => 3500

窗口起止时间由记录时间戳决定,因此 <TIME> 的实际值会不同;两条订单若跨过 5 分钟边界,也会进入不同窗口。

正确处理连接与迟到边界

窗口聚合与流表连接解决的是两个不同问题。窗口聚合把“何时发生”的事件按时间范围归并,因此必须关注时间戳、stream-time 和 grace;KStream-KTable 连接则用流记录的 key 去查询表状态,适合客户等级、商品状态这类持续更新的维度。

普通 KTable 代表每个 key 的最新表值,不应把它当成自动保存历史版本的时间旅行数据库。若业务要求“订单发生在 10:02 时必须连接 10:02 当时的维度值”,需要显式采用支持历史版本的状态建模,或把维度变化也建模为事件流后按时间语义连接。

验收时只需抓住两条:同一 key、同一窗口内的金额会连续累加;超过 windowEnd + grace 且相对当前 stream-time 已过期的记录不会再改写该窗口。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

窗口、聚合与连接

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通