我尝试设置GPUDirect直接在设备内存上使用infiniband verbs rdma调用，而无需使用cudaMemcpy。 我有2台机器配有nvidia k80 gpu卡，每个卡都带有驱动程序版本367.27。安装了CUDA8和Mellanox OFED 3.4 还安装了Mellanox-nvidia GPUDirect插件：
-bash-4.2$ service nv_peer_mem status
nv_peer_mem module is loaded.
根据这个帖子“How to use GPUDirect RDMA with Infiniband” 我有GPUDirect的所有要求，以下代码应该成功运行。但它没有，ibv_reg_mr因错误“Bad Address”而失败，好像GPUDirect没有正确安装。
void * gpu_buffer;
struct ibv_mr *mr;
const int size = 64*1024;
cudaMalloc(&gpu_buffer,size); // TODO: Check errors
mr = ibv_reg_mr(pd,gpu_buffer,size,IBV_ACCESS_LOCAL_WRITE|IBV_ACCESS_REMOTE_WRITE|IBV_ACCESS_REMOTE_READ);
请求信息
使用mlx5
上次内核日志：
[Nov14 09:49] mlx5_warn:mlx5_0:mlx5_ib_reg_user_mr:1418:(pid 4430): umem get failed (-14)
我错过了什么吗？我是否需要其他一些数据包，或者我必须以某种方式激活我的代码中的GPUDirect？
答案 0 :(得分：2)
nv_peer_mem模块失败的一个常见原因是与Unified Memory（UVM）的交互。你能尝试禁用UVM：
export CUDA_DISABLE_UNIFIED_MEMORY=1
如果这不能解决您的问题，您应该尝试从https://github.com/NVIDIA/gdrcopy运行validation和copybw测试来检查GPUDirectRDMA。如果它工作，那么你的Mellanox堆栈配置错误。