使用ubuntu + p100深入学习power8 sxm2 nvlink

Question

我的同事和我考虑购买一台新服务器，用于SXM2 NVlink等深度学习。 因为它的power8架构我希望在它上构建一个通常的堆栈有些困难，例如。用于深度学习框架的docker + tensorflow。 如果以下设置有效或者我不得不遇到困难/不可能，是否有人有经验？

• SXM2 Power8 - 用于NVLINK的4 x P100 GPU
• Os：Ubuntu 14.04 / 16.04裸 金属装置
• 通过SLURM调度程序进行管理。
• 深度学习框架：caffee和torch，tensorflow（用户自定义构建）

Answer 1

不幸的是，我们对TensorFlow的Power架构没有多少经验，而且我没有看到社区中有人成功使用它的任何报告，因此可能需要进行一些故障排除才能使其正常工作。

Answer 2

对于上述设置，我们发现它很大程度上取决于用例。所以这是调查结果。也许它有助于其他想要深入这个高性能领域的人，并且不确定要购买什么样的架构。

使用案例 我们的用例是集成到现有架构（SLURM）和云服务（主要是x86，例如在aws）。因此我与nvidia交谈，他们建议在x86上使用nvlink（sxm2）。 PCIe将覆盖到gpu通信的标准套接字。 SXM2将透明地接管GPU网格通信。这样做的好处是GPU上的培训速度非常快，而x86的部署保持不变（GPU也通过PCIe连接）

<强>能量8 如果想要完整的Power8电源，那么这里的用例将是从插槽到GPU的真正HPC级别。这将需要更多的部署复杂性。 如果需要power8 boost，则需要决定用例级别（例如高端研究）。

Nvidia有一篇很好的技术overview paper论文，更详细地解释了这些内容。