Hudi写语义保证
Hudi 为 Hadoop Upsert and Incremental 的缩写,Incremental 即 Incremental pull,也就是增加拉取,是一种类似于消息队列的流式消费。
单写保证
upsert
保证不重复。
insert
如果开启了去重,保证不重复。
bulk_insert
如果开启了去重,保证不重复。
增加拉取(incremental pull)
保证数据的消费和检查点不乱序。
多写保证
upsert
保证不重复。
insert
即使开启了去重,也保证不重复。
bulk_insert
即使开启了去重,也保证不重复。
增加拉取(incremental pull)
数据的消费和检查点可能乱序,由于多个写作业(Job)完成的时间不同。
参考:
Version: 0.13.0
Concurrency Control。
原文链接:https://www.dianjilingqu.com/741638.html