欢迎光临散文网 会员登陆 & 注册

Flink水印生成方式有哪些?

2023-08-21 10:50 作者:ingemar-  | 我要投稿

watermark 的生成方式本质上是有两种:周期性生成和标记生成

周期性生成器通常通过 onEvent() 观察传入的事件数据,然后在框架调用 onPeriodicEmit() 时发出 watermark

标记生成器将查看 onEvent() 中的事件数据,并等待检查在流中携带 watermark 的特殊标记事件或打点数据。当获取到这些事件数据时,它将立即发出 watermark。通常情况下,标记生成器不会通过 onPeriodicEmit() 发出 watermark



周期性watermark策略


官方提供的 watermark生成器有两种

  • 升序watermark:单调递增生成水印

  • 乱序watermark:固定延迟生成水印

都是基于周期性生成,默认的周期是 200ms,一般不去改,保持在ms级别 onPeriodicEmit()

每间隔200ms一个周期,就会生成一个watermark


间歇性watermark策略


每一个事件时间都会产生一个watermark


Flink水印生成方式有哪些?的评论 (共 条)

分享到微博请遵守国家法律