欢迎光临散文网 会员登陆 & 注册

重新平衡和重新调整规模的区别是什么?

2023-06-28 14:00 作者:ingemar-  | 我要投稿

RescalePartitioner,RESCALE分区,使用的也是轮询算法,只是将数据发送到接下来的几个运行的任务中的部分任务中,本质上,当发送者任务数量和接受者任务数量不同时, rescale分区提供了一种轻量级的负载均衡策略。如果接收者任务的数量是发送者任务数量的倍数时,rescale操作将会更高的效率。


图解

Rebalance和rescale的根本区别在于任务之间连接的机制不同。rebalance()将针对所有发送者任务和所有接收者任务之间建立通信通道,而 rescale() 格式针对每个一个任务的一部分任务之间建立通信通道。


效果


编写Flink程序,接收socket的单词数据,把每个字符串广播到每个分区。



示例代码



重新平衡和重新调整规模的区别是什么?的评论 (共 条)

分享到微博请遵守国家法律