大数据与流处理 / 系统课时
处理空闲分区
处理空闲分区
并行数据源中只要有一个分区长期没有数据,它的 Watermark 就可能停在旧位置,进而拖住下游窗口。本课通过空闲检测将暂时无数据的分区标记为 idle,让活跃分区继续推动事件时间进度。
学习目标
- 解释空闲分区导致全局 Watermark 停滞的原因
- 使用
withIdleness配置空闲检测 - 合理设置空闲超时并验证 Watermark 是否恢复推进
空闲分区为何拖住时间
并行流经过合并、重分区或多输入算子时,下游通常采用各输入 Watermark 的最小值作为自身 Watermark。若分区 P0 已推进到 120 秒,而 P1 停在 30 秒且不再产生数据,下游仍只能确认 30 秒之前的数据已到齐。
空闲检测会在某个输入持续一段时间没有记录后,将它暂时排除在最小 Watermark 计算之外。P1 恢复产生数据时会重新变为活跃输入,但此时它的新事件可能已经落后于下游 Watermark,因此仍需配合迟到数据策略。

配置空闲检测
空闲检测通过 WatermarkStrategy.withIdleness 配置。下面示例将最大乱序时间设为 5 秒,将连续 30 秒无记录的输入标记为空闲。代码可直接放入已引入 Flink DataStream 依赖的 Java 项目运行。
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import java.time.Duration;
public class IdlePartitionDemo {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataStream<Event> source = env.fromElements(
new Event("P0", 1_000L),
new Event("P1", 1_500L),
new Event("P0", 2_000L)
);
WatermarkStrategy<Event> strategy =
WatermarkStrategy
.<Event>forBoundedOutOfOrderness(Duration.ofSeconds(5))
.withTimestampAssigner(
(event, previousTimestamp) -> event.eventTime
)
// 长时间无记录的输入不再阻塞下游 Watermark
.withIdleness(Duration.ofSeconds(30));
source.assignTimestampsAndWatermarks(strategy)
.map(event ->
"accepted partition=" + event.partition
+ ", eventTime=" + event.eventTime)
.print();
env.execute("idle-partition-demo");
}
public static class Event {
public String partition;
public long eventTime;
public Event() {
}
public Event(String partition, long eventTime) {
this.partition = partition;
this.eventTime = eventTime;
}
}
}预期输出如下,行前缀可能随运行环境变化。该有限数据示例用于验证时间戳与空闲策略配置;真实的 idle 状态需要在长时间运行的多分区数据源中观察。
1> accepted partition=P0, eventTime=1000
1> accepted partition=P1, eventTime=1500
1> accepted partition=P0, eventTime=2000在 Kafka 等分区数据源中,应尽量在数据源处应用 WatermarkStrategy,使每个分区或 split 独立生成 Watermark并参与空闲检测。不要等到数据合并后再猜测原始分区是否空闲。
设置合适的超时时间
超时过长,空闲分区仍会长时间阻塞窗口;超时过短,低流量分区会频繁在活跃与空闲之间切换。分区恢复后,下游 Watermark 可能已经前进,其积压事件便可能被判定为迟到。
可根据分区正常最大消息间隔、业务低峰期和上游批量发送周期设定超时。常用做法是让空闲超时明显大于正常消息间隔的高分位值,并通过监控持续校准,而不是固定照抄 30 秒。
验证停滞是否解除
先在未配置空闲检测时观察窗口输出是否停止,再启用 withIdleness 对比。重点查看作业 Web UI 中源和下游算子的 Watermark 指标;不同版本名称略有差异,通常可关注 currentOutputWatermark,以及支持 split 指标时的空闲时长。
若配置后仍不推进,应依次检查:WatermarkStrategy 是否真正应用在数据源上、超时是否尚未达到、是否还有另一个输入 Watermark 更小、时间戳提取是否异常,以及算子是否因反压或故障停止消费。
对于 Table API 或 SQL 作业,可使用 table.exec.source.idle-timeout 配置源空闲超时;DataStream API 则使用本课展示的 withIdleness。两者解决的是同一类问题,但配置入口不同。