InfiniBand解释

Question

有人可以解释什么是InfiniBand吗？与以太网相比有哪些主要差异，这些差异如何使其比以太网更快？

来自mellanox的官方description写的是

  

介绍InfiniBand，一种基于交换机的串行 I / O互连架构，运行于......

Infiniband是一种基于交换机的互连是什么意思？我找到了这个description，但它没有解释如果有几个输入要写入单个输出会发生什么，碰撞是如何解决的？

据说Infiniband还有端到端的流量控制。是否意味着没有（需要）任何其他（中间）流量控制？为什么呢？

Answer 1

以太网和Infiniband之间的关键区别是，它使Infiniband更快，是RDMA（远程直接内存访问）。 DMA（在网络中）是一种直接从NIC访问内存的操作，不涉及CPU。 RDMA是相同的想法，但直接内存访问是由远程机器完成的。

更多差异：

1. 在QP（队列对）之间进行通信，而不是通道。
2. 数据流直接进出/来自用户空间，而不是通过内核堆栈。

请求者和响应者之间的基本RDMA流程包括：

1. 握手 - 请求者和响应者之间的交换细节（主要是分配的内存地址和访问密钥）。
2. 在请求方创建READ / WRITE / ATOMIC请求。
3. 将请求发送给响应者。
4. 直接访问响应方的内存。
5. 如果是READ / ATOMIC - 将从响应者的内存中读取的数据发送回请求者。

主要好处：

1. 响应方没有CPU访问权限 - 吞吐量仅受硬件（NIC和PCI）的限制。
2. 没有SW在响应方运行 - 允许更低的延迟（比典型的TCP / UDP延迟小约10倍）。
3. 在请求方支持“轮询模式”以完成，这意味着一旦HW完成传输，SW就会立即知道。允许更低的延迟和更高的吞吐量，但代价是高CPU利用率。

有关详细信息，请参阅Infiniband spec（抱歉很长）。

相关流量协议：

• RoCE（融合以太网上的RDMA），通过将Infiniband数据包与L2 / L3 / L4以太网报头包装在一起，实现RDMA over Ethernet结构。

• IPoIB（IP over Infiniband），它通过Infiniband标头包装L3 / L4数据包，在Infiniband结构上实现定期网络连接（通过内核堆栈）。

希望这有帮助。

Answer 2

要了解InfiniBand的基础知识，我建议您访问Mellanox Academy Web-Site并在注册后参加 InfiniBand Essentials 或 InfiniBand Fundamentals 课程（在技术部分中）。

在我看来＆＃34;基于交换机的架构＆＃34;意味着开关是织物的一部分（见下图，我已经显示蓝色形状的开关）。

端到端流量控制，即消息级别流量控制，是可靠连接的特性（功能）。响应者可以使用它来优化其接收资源的使用。从本质上讲，请求者不能发送请求消息，除非它有适当的信用。有关详细信息，请参阅InfiniBand specification。

Answer 3

技术信息

  

据说InfiniBand具有端到端的流量控制。

通过称为“子网管理器”（通常简称为“ SM”）的守护程序控制光纤内部流量。 A well known open source implementation (opensm)当前支持9种不同的路由算法（最小跃点，UPDN，DNUP，胖树，Torus-2QoS等）。关于这些算法及其不同的流量控制方法，可以写成许多页面。

  

这是否意味着不需要（任何）其他流量控制？为什么？

结构间流量通常需要一个协议，该协议也可以从InfiniBand网络和其他网络类型进行路由。 LNet是可以做到这一点的协议示例。

一般信息

  

有人可以解释什么是InfiniBand吗？

这个问题 非常 ，因此，我将尝试添加一些更一般的信息，作为对现有答案的补充。

未来路线图

目前有多代Infiniband（QDR，FDR，EDR），HDR有望在2018年或2019年的某个时候问世。Yes, this may become dated quickly, so refer to the roadmap for current information。即将到来的几代人称为NDR和XDR，但在当前的路线图中甚至都没有暂定日期。

关键组织

重要的组织包括Infiniband Trade Association（IBTA）和Open Fabrics Alliance（OFA）。请参阅他们的网站，以获取许多良好的Infiniband信息。