20 -【cmu15-721】【高级数据库系统】【卡内基梅隆大学】【中英字幕】

1. BigQuery支持多语句事务和快照隔离级别。

2. Redshift通过分析查询日志来优化更新操作。

3. Spark SQL是Spark的原生模块，用于支持SQL查询。

4. Spark SQL使用内存列存储和离堆内存来提高性能。

5. JVM的垃圾回收机制在大规模数据处理中可能成为性能瓶颈。

6. Photon是为Spark SQL提供单线程执行引擎的库。

7. Photon不是一个独立的数据库系统，而是一个执行查询计划部分的库。

8. Photon使用Java本地接口（JNI）允许Java调用C++或C代码。

9. Photon旨在通过C++代码无缝替代Spark中最昂贵和CPU密集型的操作。

10. Photon使用矢量化查询处理和预编译的原语以获得更好的性能。

11. 该论文介绍了一个名为Photon的分布式计算引擎，它是Spark SQL的一部分。

12. Photon通过将查询计划转换为列式存储来提高性能，并使用水平融合来优化查询。

13. Photon还实现了内存管理和动态查询优化，以适应不同的数据特征和查询需求。

14. Photon还支持动态优化查询计划，包括合并分区和选择合适的操作函数。

15. Photon的设计目标是提高Spark SQL的性能和可扩展性，并提供更好的用户体验。

16. Delta Lake是一个事务性数据存储，为数据湖提供插入、更新和删除操作。

17. 它使用日志来跟踪更新，并定期将其转换为Parquet文件，计算统计信息以进行查询优化。

18. Photon是一个OLAP引擎，利用预编译原语和水平操作符融合来提高性能。

19. 它采用C++实现，相比Java或Scala具有更好的控制和性能。

20. 与现有的Spark作业接口集成，可以无缝采用，不会打扰用户。