Spark如何使用Netty？

Question

我知道Storm现在可以在Netty上运行节点之间的通信吗？

Apache Spark是否也使用Netty？如果是这样，以什么方式？

Answer 1

Spark使用Akka Actor进行RPC和消息传递，后者又使用Netty。

此外，对于移动批量数据，使用Netty。

• 对于随机数据，可以选择使用Netty。默认情况下，NIO直接用于传输shuffle数据。
• 对于广播数据（驱动程序到所有工作者的数据传输），默认情况下使用Jetty。