002-【CMU15-418】【并行计算架构和编程】【中英字幕】【A Moder

1. 今天的课程主题是并行计算的硬件视角，介绍了如何利用图形处理器（GPU）进行并行计算。

2. 硬件人员在层次结构的多个级别上设置了并行计算的潜力，有些是对程序员不可见的，有些需要程序员或编译器生成适当的代码。

3. 在计算机体系结构中，性能问题主要涉及到并行性和内存访问的效率。

4. 传统的顺序执行模型在多核处理器上无法实现真正的指令级并行性，需要使用线程编程来实现并行计算。

5. 并行计算的挑战包括负载平衡、通信延迟和资源利用率等问题，这些问题在实际应用中经常出现。

6. 并行计算可以提高程序的性能，但编写并行代码和优化性能是有挑战的。

7. 可以使用一种描述尴尬并行计算的语言来简化并行编程。

8. 并行计算可以节省功耗和时间开销，因为通信成本较低。

9. 现代处理器都具有多个核心，甚至图形处理单元（GPU）也采用了类似的并行设计。

10. SIMD（单指令多数据）处理可以通过一条指令同时操作多个数据值，提高并行计算效率。

11. 在SIMD领域，一种重要的概念是一致性(coherence)，它指的是所有操作都要做相同的事情，而与此相反的是分歧(divergence)。SIMD的处理能力可以通过硬件进行并行计算，可以进行字节级别的操作，也可以进行浮点运算。

11. AVX是一种SIMD指令集，可以进行字节、短整型、整型和浮点数的操作。AVX2是AVX的当前版本，AVX512是下一代版本。

12. GPU使用SPMD（单程序多数据）模型进行计算，底层使用SIMD实现逻辑。GPU的核心看起来与Intel处理器核心非常不同，但它们都支持SIMD。

13. 缓存是为了减少内存访问的延迟和提高带宽而存在的。硬件可以通过预取（prefetching）来预先加载数据，以减少延迟。

14. 多线程可以在同一核心上同时执行多个独立的线程，以减少延迟。这也是超线程的基本原理。

15. 通过多线程和预取等技术，可以提高系统的吞吐量，从而隐藏延迟。

16. 线程调度是由操作系统还是硬件来完成的，这取决于CPU还是GPU。

17. 并行计算的一个主要优势是可以将关键资源转化为通过系统的吞吐量，而不是特定操作所需的时间。

18. 超线程技术可以在现代处理器中支持多个线程运行，它通过复制寄存器和共享执行单元、内存和缓存来实现。

19. GPU具有更高的并行性和吞吐量，适用于某些类型的应用程序，而CPU则更适合低延迟的任务。

20. 内存带宽通常比算术速度更具限制性，因此在编程时需要采取一些技巧来减少带宽的使用。