22-【cmu15-721】【高级数据库系统】【卡内基梅隆大学】【中英字幕】

1. DuckDB是一个在应用程序内部运行的分析型数据库系统，它采用了向量化处理引擎和自定义的向量格式。

2. DuckDB的向量格式允许在压缩数据的情况下直接进行操作，而无需解压缩，这在执行过程中可以实现优化。

3. DuckDB的向量类型包括常量向量、字典向量和序列向量，每种类型都有不同的物理表示和逻辑操作方式。

4. DuckDB的统一格式视图可以在不复制或移动数据的情况下对向量进行处理，并且可以在不同的向量类型之间进行切换。

5. DuckDB的发展历程中，已经成立了一个专门的团队，并且推出了咨询服务，以进一步推动该数据库系统的发展和应用。

6. 在计算机科学中，或运算符是一种不需要任何特殊化就可以执行的运算符，而且不会因为数据的移动而对系统造成惩罚，因此可以创建通用的运算符。

7. 在存储和执行过程中，常量向量和字典向量可以从不同的地方生成，例如存储和parquet。

8. 常量向量和字典向量在性能上的差异取决于具体情况，但常量向量的优势在于易于进行特殊化处理。

9. 向量可以存储不同类型的数据，如标量、整数、字符串和嵌套类型（结构和列表）。

10. 在查询执行过程中，可以使用推送模型和交换操作符来实现多线程执行，以提高性能。但是，交换操作符可能导致计划爆炸问题。

11. 并行查询的优化器通常需要进行额外的优化，否则查询计划会变得非常庞大，导致优化器无法处理。

12. 并行查询的固定计划可能会导致负载不平衡问题，因为可能会错误地估计数据分区或数据分布情况，导致一半的线程闲置，另一半在处理任务，从而降低效率。

13. 并行查询中的通信只能通过材料化行进行，这会增加额外的开销。

14. "morsel driven parallel" 是一种替代的并行计算模型，通过使每个操作符具备并行感知能力，可以避免上述问题，并实现自适应的并行计算。

15. 推送模型相比拉取模型有一些优势，如控制流程集中、操作符简化、能够暂停和恢复执行等。

16. 添加更多的压缩方法可以减小表的大小。

17. 不同数据集对压缩方法的效果不同，因为压缩方法是通过寻找特定模式来工作的。

18. DuckDB支持查询取消功能，可以在运算符返回结果之前取消查询。

19. DuckDB支持扩展性，可以通过自定义扩展来实现不同的功能。

20. DuckDB正在努力在各个领域推广，包括浏览器、移动设备和嵌入式系统。

21. DuckDB是一个支持批处理操作和向量化处理的事务型数据库。

22. DuckDB的特点之一是支持外部格式，可以从不同的数据源读取和转换数据。

23. DuckDB支持类似数据框的API，可以方便地进行数据操作和查询。

24. DuckDB的查询优化器有多种策略，但目前还需要进行重构。

25. DuckDB的一项令人惊讶的用途是在浏览器中运行，可以进行本地数据转换和数据分析。