欢迎光临散文网 会员登陆 & 注册

详解Flink中Forward Partitioner的使用方法,助力流式计算高效运行

2023-06-29 14:00 作者:ingemar-  | 我要投稿

发送到下游对应的第一个任务,保证上游算子数量度一致,即下游算子与下游算子是1:1的关系 


源码解读



图解


在上下游的算子没有指定分区器的情况下,如果上下游的算子精度一致,则使用ForwardPartitioner,否则使用RebalancePartitioner,对于ForwardPartitioner,必须保证上下游的算子精度一致,否则会引发异常



效果


编写Flink程序,接收socket的单词数据,把每个字符串广播到每个分区。



示例代码


详解Flink中Forward Partitioner的使用方法,助力流式计算高效运行的评论 (共 条)

分享到微博请遵守国家法律