欢迎光临散文网 会员登陆 & 注册

大数据教程 | 从0到1的完美落地之Flume优化

2023-07-11 16:49 作者:无力取闹的小浣熊  | 我要投稿

Flume的自动容灾和负载均衡

说明
flume的自动容灾指的是当某一个channel或者sink挡掉后,由其他的sink来接收数据
flume的负载均衡指的是多个channel处理的event的数量尽可能的相同。

自动容灾
1)上游方案的编写

2)下游的qianfeng02上的方案

3)下游的qianfeng03上的方案

4)启动

5)测试

负载均衡
负载均衡Sink 选择器提供了在多个sink上进行负载均衡流量的功能。 它维护一个活动sink列表的索引来实现负载的分配。 默认支持了轮询(round_robin)和随机(random)两种选择机制分配负载。 默认是轮询,可以通过配置来更改。

==注意==:


大数据教程 | 从0到1的完美落地之Flume优化的评论 (共 条)

分享到微博请遵守国家法律