欢迎光临散文网 会员登陆 & 注册

Flink算子:reduce的使用方法及示例演示[附详细代码]

2023-06-13 14:24 作者:ingemar-  | 我要投稿

可以对一个 dataset 或者一个 group 来进行聚合计算,最终聚合成一个元素


示例

读取apache.log日志,统计ip地址访问pv数量,使用 reduce 操作聚合成一个最终结果

结果类似:

(86.149.9.216,1)

(10.0.0.1,7)

(83.149.9.216,6)


步骤


获取 ExecutionEnvironment 运行环境

使用 readTextFile 构建数据源

使用 reduce 执行聚合操作

打印测试


参考代码



Flink算子:reduce的使用方法及示例演示[附详细代码]的评论 (共 条)

分享到微博请遵守国家法律