欢迎光临散文网 会员登陆 & 注册

Flink 滚动窗口的计算实现(附详细代码)

2023-08-04 14:23 作者:ingemar-  | 我要投稿

窗口可以作用与DataStream之上。

如果数据是未分流(keyby)的,那么就对全量数据加窗口

如果数据是分流后的,那么针对每个流加窗口(类似SQL的group by 后对每个分组做聚合)

可以看出,未分流的数据,只能使用带ALL关键字的方法



案例


自定义一个Source, 每隔1秒产生一个的k,v  k是hadoop spark flink 其中某一个, v是随机数字

对数据加窗口, 窗口1对未分流的数据统计数字总和

窗口2对按key分组后的数据统计每个key对应的数字总和



代码实现



Flink 滚动窗口的计算实现(附详细代码)的评论 (共 条)

分享到微博请遵守国家法律