Flink 窗口 触发器 ContinuousEventTimeTrigger
短窗口的计算由于其窗口期较短,那么很快就能获取到结果,但是对于长窗口来说短窗口时间比较长,如果等窗口期结束才能看到结果,那么这份数据就不具备实时性,大多数情况我们希望能够看到一个长窗口的结果不断变动的情况,
对此Flink提供了ContinuousEventTimeTrigger连续事件时间触发器与ContinuousProcessingTimeTrigger连续处理时间触发器,指定一个固定时间间隔interval,不需要等到窗口结束才能获取结果,能够在固定的interval获取到窗口的中间结果。
ContinuousEventTimeTrigger
该类表示连续事件时间触发器,用在EventTime属性的任务流中,以事件时间的进度来推动定期触发。
<1> 其中的onElement方法:
@Override
public TriggerResult onElement(Object element, long timestamp, W window, TriggerContext ctx) throws Exception {
if (window.maxTimestamp() <= ctx.getCurrentWatermark()) {
// if the watermark is already past the window fire immediately
return TriggerResult.FIRE;
} else {
ctx.registerEventTimeTimer(window.maxTimestamp());
}
ReducingState<Long> fireTimestamp = ctx.getPartitionedState(stateDesc);
if (fireTimestamp.get() == null) {
long start = timestamp - (timestamp % interval);
long nextFireTimestamp = start + interval;
ctx.registerEventTimeTimer(nextFireTimestamp);
fireTimestamp.add(nextFireTimestamp);
}
return TriggerResult.CONTINUE;
}
对于每一条数据都会经过onElement处理,
这部分是用于判断是否触发窗口函数或者注册一个窗口endTime的定时触发器,endTime定时器最终触发窗口函数,就能够得到一个最终的窗口结果。
一旦流水位线达到了窗口的endTime,那么就会触发最终的函数。
/** When merging we take the lowest of all fire timestamps as the new fire timestamp. */
private final ReducingStateDescriptor<Long> stateDesc =
new ReducingStateDescriptor<>("fire-time", new Min(), LongSerializer.INSTANCE);
这部分,ReducingState是context调用getPartitionedState方法,返回下一次的窗口函数触发时间
getPartitionedState:检索可用于与之交互的State对象容错状态,范围为当前触发器调用的窗口和键。
如果获取到保存下一次触发时间的状态为null,那么就会初始化,这里的初始化逻辑:
假设当前时间戳为110,调用函数的间隔时间即interval为25,那么
start=110-110%25=110-10=100
nextFireTimestamp=100+25=125
这就是距离当前时间戳最近的触发时间。