2个案例详解 Kafka Consumer 和 Kafka Producer (附代码)
代码实现-Kafka Consumer
需求:使用flink-connector-kafka_2.12中的FlinkKafkaConsumer消费Kafka中的数据做WordCount
需要设置如下参数:
1.订阅的主题
2.反序列化规则
3.消费者属性-集群地址
4.消费者属性-消费者组id(如果不设置,会有默认的,但是默认的不方便管理)
5.消费者属性-offset重置规则,如earliest/latest...
6.动态分区检测(当kafka的分区数变化/增加时,Flink能够检测到!)
7.如果没有设置Checkpoint,那么可以设置自动提交offset,后续学习了Checkpoint会把offset随着做Checkpoint的时候提交到Checkpoint和默认主题中
代码实现:
代码实现-Kafka Producer
需求:
将Flink集合中的数据通过自定义Sink保存到Kafka
代码实现
