欢迎光临散文网 会员登陆 & 注册

Hudi写语义保证

2023-05-19 11:45 作者:限量版范儿  | 我要投稿

Hudi 为 Hadoop Upsert and Incremental 的缩写,Incremental 即 Incremental pull,也就是增加拉取,是一种类似于消息队列的流式消费。

单写保证

  • upsert

保证不重复。

  • insert

如果开启了去重,保证不重复。

  • bulk_insert

如果开启了去重,保证不重复。

  • 增加拉取(incremental pull)

保证数据的消费和检查点不乱序。

多写保证

  • upsert

保证不重复。

  • insert

即使开启了去重,也保证不重复。

  • bulk_insert

即使开启了去重,也保证不重复。

  • 增加拉取(incremental pull)

数据的消费和检查点可能乱序,由于多个写作业(Job)完成的时间不同。

参考:

Version: 0.13.0
Concurrency Control。

原文链接:https://www.dianjilingqu.com/741638.html

Hudi写语义保证的评论 (共 条)

分享到微博请遵守国家法律