欢迎光临散文网 会员登陆 & 注册

2个案例详解 Kafka Consumer 和 Kafka Producer (附代码)

2023-07-18 11:04 作者:ingemar-  | 我要投稿

代码实现-Kafka Consumer


需求:使用flink-connector-kafka_2.12中的FlinkKafkaConsumer消费Kafka中的数据做WordCount

需要设置如下参数:

1.订阅的主题

2.反序列化规则

3.消费者属性-集群地址

4.消费者属性-消费者组id(如果不设置,会有默认的,但是默认的不方便管理)

5.消费者属性-offset重置规则,如earliest/latest...

6.动态分区检测(当kafka的分区数变化/增加时,Flink能够检测到!)

7.如果没有设置Checkpoint,那么可以设置自动提交offset,后续学习了Checkpoint会把offset随着做Checkpoint的时候提交到Checkpoint和默认主题中

代码实现:


代码实现-Kafka Producer


需求:

将Flink集合中的数据通过自定义Sink保存到Kafka

代码实现


2个案例详解 Kafka Consumer 和 Kafka Producer (附代码)的评论 (共 条)

分享到微博请遵守国家法律