消息队列 / 系统课时
窗口、聚合与连接
窗口、聚合与连接
本节把无界事件流变成可计算的时间片,并在同一条拓扑里完成分组聚合与流表连接。完成后,你能解释窗口何时关闭、迟到记录何时被接纳或丢弃,并写出可运行的 Kafka Streams DSL 处理链路。
学习目标
- 使用事件时间和
TimeWindows定义固定窗口与 grace。 - 对分组后的流做窗口聚合,并读取窗口键中的起止时间。
- 使用
KStream与KTable连接,并区分普通流表连接与窗口迟到语义。
用事件时间切开无界流
Kafka Streams 默认使用记录时间戳参与窗口计算。固定窗口可以理解为左闭右开的区间,例如 5 分钟窗口 [10:00, 10:05)。窗口本身没有“等墙上时钟 5 分钟就关闭”的概念,真正影响迟到判断的是任务看到的 stream-time。
TimeWindows.ofSizeAndGrace(Duration.ofMinutes(5), Duration.ofMinutes(1)) 表示窗口大小为 5 分钟,并额外允许 1 分钟迟到。若某个窗口结束于 10:05,当该任务的 stream-time 已推进到 10:06 之后,再到达时间戳为 10:04 的记录就太晚,窗口聚合会丢弃它。

实现窗口聚合与流表连接
下面的程序把 orders 主题的 key 视为客户 ID、value 视为订单金额;customer-tier 主题维护客户等级。订单流一边连接当前 KTable 状态,一边按 5 分钟窗口累计金额。
import java.time.Duration;
import java.time.Instant;
import java.util.Properties;
import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.KafkaStreams;
import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.StreamsConfig;
import org.apache.kafka.streams.kstream.Consumed;
import org.apache.kafka.streams.kstream.Grouped;
import org.apache.kafka.streams.kstream.KStream;
import org.apache.kafka.streams.kstream.KTable;
import org.apache.kafka.streams.kstream.TimeWindows;
public class WindowJoinApp {
public static void main(String[] args) {
Properties props = new Properties();
props.put(StreamsConfig.APPLICATION_ID_CONFIG, "window-join-demo");
props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
StreamsBuilder builder = new StreamsBuilder();
KTable<String, String> tiers = builder.table(
"customer-tier",
Consumed.with(Serdes.String(), Serdes.String()));
KStream<String, Long> orders = builder
.stream("orders", Consumed.with(Serdes.String(), Serdes.String()))
.mapValues(Long::parseLong);
// 流表连接用于按客户当前等级丰富订单事件。
orders.join(tiers, (amount, tier) -> tier + ":" + amount)
.foreach((customer, value) ->
System.out.printf("JOIN %s => %s%n", customer, value));
// grace 决定窗口结束后还能接受多晚的事件。
orders.groupByKey(Grouped.with(Serdes.String(), Serdes.Long()))
.windowedBy(TimeWindows.ofSizeAndGrace(
Duration.ofMinutes(5), Duration.ofMinutes(1)))
.reduce(Long::sum)
.toStream()
.foreach((key, total) -> System.out.printf(
"SUM %s @ [%s, %s) => %d%n",
key.key(),
Instant.ofEpochMilli(key.window().start()),
Instant.ofEpochMilli(key.window().end()),
total));
KafkaStreams streams = new KafkaStreams(builder.build(), props);
Runtime.getRuntime().addShutdownHook(new Thread(streams::close));
streams.start();
}
}预期结果
应用启动后保持运行并等待 customer-tier 与 orders 主题中的记录。先写入客户等级,再写入两个订单。这样能避免示例中订单先于维表状态到达。
printf 'customer-a:gold\n' | kafka-console-producer.sh --bootstrap-server localhost:9092 --topic customer-tier --property parse.key=true --property key.separator=:
printf 'customer-a:1200\ncustomer-a:2300\n' | kafka-console-producer.sh --bootstrap-server localhost:9092 --topic orders --property parse.key=true --property key.separator=:预期输出
JOIN customer-a => gold:1200
SUM customer-a @ [<TIME>, <TIME>) => 1200
JOIN customer-a => gold:2300
SUM customer-a @ [<TIME>, <TIME>) => 3500窗口起止时间由记录时间戳决定,因此 <TIME> 的实际值会不同;两条订单若跨过 5 分钟边界,也会进入不同窗口。
正确处理连接与迟到边界
窗口聚合与流表连接解决的是两个不同问题。窗口聚合把“何时发生”的事件按时间范围归并,因此必须关注时间戳、stream-time 和 grace;KStream-KTable 连接则用流记录的 key 去查询表状态,适合客户等级、商品状态这类持续更新的维度。
普通 KTable 代表每个 key 的最新表值,不应把它当成自动保存历史版本的时间旅行数据库。若业务要求“订单发生在 10:02 时必须连接 10:02 当时的维度值”,需要显式采用支持历史版本的状态建模,或把维度变化也建模为事件流后按时间语义连接。
验收时只需抓住两条:同一 key、同一窗口内的金额会连续累加;超过 windowEnd + grace 且相对当前 stream-time 已过期的记录不会再改写该窗口。