是并行编程==多线程编程？

Question

是并行编程==多线程编程吗？

Answer 1

多线程编程是并行的，但并行编程不一定是多线程的。

除非在单个内核上发生多线程，否则它只是并发的。

Answer 2

不必然。您可以在多个进程甚至多台机器之间分配作业 - 我不会将其归类为“多线程”编程，因为每个进程可能只使用单个线程，但它肯定是并行编程。不可否认，你可以争辩说，对于多个进程，整个系统中存在多个线程......

最终，这样的定义仅在上下文中有用。在你的特殊情况下，它会有什么不同？或者这只是出于兴趣？

Answer 3

没有。多线程编程意味着您只有一个进程，并且此进程会生成一堆线程。所有线程都在同一时间运行，但它们都在相同的进程空间下：它们可以访问相同的内存，具有相同的打开文件描述符，等等。

并行编程作为定义更具“通用性”。在MPI中，您通过多次运行相同的进程来执行并行编程，不同之处在于每个进程都获得不同的“标识符”，因此如果需要，您可以区分每个进程，但这不是必需的。此外，这些进程彼此独立，并且必须通过管道或网络/ unix套接字进行通信。 MPI库提供特定的功能，以同步或异步方式在节点之间移动数据。

相反，OpenMP通过多线程和共享内存实现并行化。您可以为编译器指定特殊指令，并自动为您执行并行执行。

OpenMP的优势在于它非常透明。有一个并行化的循环？只需添加几个指令，编译器将其分块，并将每个循环分配给不同的处理器。不幸的是，您需要一个共享内存架构。具有基于节点的体系结构的群集无法在群集级别使用OpenMP。 MPI允许您处理基于节点的体系结构，但您必须付出更复杂且不透明的使用价格。