欢迎光临散文网 会员登陆 & 注册

writeAsCsv | 如何实现以csv格式输出?

2023-07-05 14:35 作者:ingemar-  | 我要投稿

该方法是将数据以csv格式写入到指定的目录中,本质上使用的是CsvOutputFormat格式写入的。每输出一个元素,在该内容后面同时追加一个换行符,最终以csv的形式(类似Excel的格式,字段和字段之间用逗号分隔)写入到文件中,目录中的文件名称是该Sink所在subtask的Index + 1。

需要说明的是,该Sink并不是将数据实时的写入到文件中,而是有一个BufferedOutputStream,默认缓存的大小为4096个字节,只有达到这个大小,才会flush到磁盘。另外程序在正常退出,调用Sink的close方法也会flush到磁盘。


writeAsCsv | 如何实现以csv格式输出?的评论 (共 条)

分享到微博请遵守国家法律