004-【CMU15-418】【并行计算架构和编程】【中英字幕】【Paralle

1. 在并行计算中，任务的分解和分配非常重要。

2. 并行计算中，第一步的计算可以很容易地并行化，每个像素的计算是独立的。

3. 在并行计算中，通信和同步的开销需要尽量减少，以提高性能。

4. 动态任务分配可以平衡负载，但会增加运行时开销。

5. 程序员需要考虑如何组织代码以最小化通信和同步的开销。

6. 编译器可以决定将计算单元分配到向量槽中，而在GPU中，这个映射是由硬件完成的。

7. 在将线程复用到同一硬件上时，应该考虑将相关或不相关的线程放在一起的问题。

8. 并行程序可以将数据结构分割成多个部分进行处理。

9. 并行程序可以使用红黑排序来避免数据竞争。

10. 在数据并行编程范式中，语言和运行时系统会为程序员处理大部分工作。

11. 在求解器中，我们只需要在外部循环上进行并行化，而不需要在内部循环上进行并行化。

12. 在数据并行语言中，可以使用for all命令来告诉语言这些迭代可以并行执行。

13. 在共享地址空间模型中，需要使用barrier来同步线程，以确保更新操作的顺序。

14. 在消息传递模型中，通信通过发送和接收消息进行，需要使用ghost rows来存储其他处理器的数据。

15. 在消息传递模型中，需要使用reduce操作来计算所有处理器的局部和，并进行全局同步。

16. 支持并行计算的语言通常有一些减少原语，可以自动完成所需的操作。

17. 代码中使用了整行发送的方式，以提高性能。

18. 代码存在死锁问题，需要进行修复。

19. 解决死锁问题的方法之一是切换发送和接收的顺序。

20. 另一种解决方法是使用非阻塞的发送和接收。