gpu - Google Cloud ML Engine GPU错误

我使用Google Cloud ML Engine创建了几个培训CNN的工作，每次作业成功完成GPU错误。打印设备放置包括一些GPU活动，但在作业详细信息/使用中没有GPU使用。

这是我用来创建工作的命令：

gcloud beta ml-engine jobs提交培训fei_test34 --job-dir gs：// tfoutput / joboutput --package-path trainer --module-name = trainer.main --region europe-west1 --staging-bucket gs：// tfoutput --scale-tier BASIC_GPU - --data = gs：// crispdata / cars_128 --max_epochs = 1 --train_log_dir = gs：// tfoutput / joboutput --model = trainer.crisp_model_2x64_2xBN --validation =真-x

以下是设备放置日志： log device placement 。 GPU错误： GPU error detail

更多信息：

当我在Google Cloud ML Engine上运行代码时，使用一个Tesla K80进行训练的平均速度为8.2个/秒，不使用GPU的平均速度为5.7个/秒，图像大小为112x112。相同的代码我在亚马逊AWS上使用一个GRID K520获得130.4的示例/秒。我认为使用特斯拉K80应该会加快速度。另外，我收到了昨天发布的GPU错误。此外，在计算引擎配额中，我可以看到CPU的使用＆gt; 0％，但GPU的使用率仍为0％。我想知道GPU是否真的有效。

我不熟悉云计算，因此不确定我是否提供了足够的信息。请随时询问更多详细信息。

我刚尝试设置为complex_model_m_gpu，训练速度与一个GPU大致相同（因为我的代码用于一个GPU），但日志中有更多信息。这是日志的副本：

我在本地成功打开了CUDA库libcudnn.so.5

我在本地成功打开了CUDA库libcufft.so.8.0

我在本地成功打开了CUDA库libcuda.so.1

我在本地成功打开了CUDA库libcurand.so.8.0

我的摘要名称cross_entropy（raw）是非法的;使用cross_entropy__raw_代替。

我的摘要名称total_loss（raw）是非法的;使用total_loss__raw_代替。

W TensorFlow库未编译为使用AVX2指令，但这些指令可在您的计算机上使用，并可加快CPU计算速度。

W TensorFlow库未编译为使用FMA指令，但这些指令可在您的计算机上使用，并可加快CPU计算速度。

我成功从SysFS读取的NUMA节点具有负值（-1），但必须至少有一个NUMA节点，因此返回NUMA节点零

我找到了具有属性的设备0：

E名称：特斯拉K80

E major：3 minor：7 memoryClockRate（GHz）0.8235

E pciBusID 0000：00：04.0

E总内存：11.20GiB

E Free memory：11.13GiB

当一个当前处于活动状态时创建上下文;现有：0x39ec240

我成功从SysFS读取的NUMA节点具有负值（-1），但必须至少有一个NUMA节点，因此返回NUMA节点零

我找到了具有属性的设备1：

E名称：特斯拉K80

E major：3 minor：7 memoryClockRate（GHz）0.8235

E pciBusID 0000：00：05.0

E总内存：11.20GiB

E Free memory：11.13GiB

当一个当前处于活动状态时创建上下文;现有：0x39f00b0

我成功从SysFS读取的NUMA节点具有负值（-1），但必须至少有一个NUMA节点，因此返回NUMA节点零

我找到了具有属性的设备2：

E名称：特斯拉K80

E major：3 minor：7 memoryClockRate（GHz）0.8235

E pciBusID 0000：00：06.0

E总内存：11.20GiB

E Free memory：11.13GiB

当一个当前处于活动状态时创建上下文;现有：0x3a148b0

我成功从SysFS读取的NUMA节点具有负值（-1），但必须至少有一个NUMA节点，因此返回NUMA节点零

我找到了具有属性的设备3：

E名称：特斯拉K80

E major：3 minor：7 memoryClockRate（GHz）0.8235

E pciBusID 0000：00：07.0

E总内存：11.20GiB

E Free memory：11.13GiB

设备序号0和1

之间不支持I Peer访问

设备序号0和2之间不支持I Peer访问

设备序号0和3之间不支持I Peer访问

设备序号1和0

之间不支持I Peer访问

设备序号1和2之间不支持I Peer访问

设备序号1和3之间不支持I Peer访问

设备序号2和0

之间不支持I Peer访问

设备序号2和1之间不支持I Peer访问

设备序号2和3之间不支持I Peer访问

设备序号3和0

之间不支持I Peer访问

设备序号3和1之间不支持I Peer访问

设备序号3和2之间不支持I Peer访问

我DMA：0 1 2 3

I 0：Y N N N

I 1：N Y N N

I 2：N N Y N

I 3：N N N Y

我创建TensorFlow设备（/ gpu：0） - ＆gt; （设备：0，名称：特斯拉K80，pci总线ID：0000：00：04.0）

我创建TensorFlow设备（/ gpu：1） - ＆gt; （设备：1，名称：特斯拉K80，pci总线ID：0000：00：05.0）

我创建TensorFlow设备（/ gpu：2） - ＆gt; （设备：2，名称：特斯拉K80，pci总线ID：0000：00：06.0）

我创建TensorFlow设备（/ gpu：3） - ＆gt; （设备：3，名称：特斯拉K80，pci总线ID：0000：00：07.0）

我创建TensorFlow设备（/ gpu：0） - ＆gt; （设备：0，名称：特斯拉K80，pci总线ID：0000：00：04.0）

我创建TensorFlow设备（/ gpu：1） - ＆gt; （设备：1，名称：特斯拉K80，pci总线ID：0000：00：05.0）

我创建TensorFlow设备（/ gpu：2） - ＆gt; （设备：2，名称：特斯拉K80，pci总线ID：0000：00：06.0）

我创建TensorFlow设备（/ gpu：3） - ＆gt; （设备：3，名称：特斯拉K80，pci总线ID：0000：00：07.0）

I 361

我的桶= crispdata，文件夹= cars_128 / train

I path = gs：// crispdata / cars_128 / train

我的例子= 240

我的桶= crispdata，文件夹= cars_128 / val

I path = gs：// crispdata / cars_128 / val

我的例子= 60

我{＆＃39;翻牌＆＃39;：False，＆＃39; learning_rate_decay_factor＆＃39;：0.005，＆＃39; train_log_dir＆＃39;：＆＃39; gs：// tfoutput / joboutput / 20170411_144221＆＃ 39;，＆＃39; valid_score_path＆＃39;：＆＃39; /home/ubuntu/tensorflow/cifar10/validation_score.csv' ;,＆＃39; saturate_epoch＆＃39;：200，＆＃39; test_score_path＆＃39 ;：＆＃39;＆＃39;，＆＃39; max_tries＆＃39;：75，＆＃39; max_epochs＆＃39;：10，＆＃39; id＆＃39;：＆＃39; 20170411_144221＆＃39; ，＆＃39; test_data_size＆＃39;：0，＆＃39; memory_usage＆＃39;：0.3，＆＃39; load_size＆＃39;：128，＆＃39; test_batch_size＆＃39;：10，＆＃39; max_out_norm＆＃39;：1.0，＆＃39; email_notify＆＃39;：False，＆＃39; skip_training＆＃39;：False，＆＃39; log_device_placement＆＃39;：False，＆＃39; learning_rate_decay_schedule＆＃39;：＆＃39; 39;＆＃39;，＆＃39; cpu_only＆＃39;：错误，＆＃39;标准化＆＃39;：错误，＆＃39; num_epochs_per_decay＆＃39;：1，＆＃39; zoom_out＆＃39;：0.0 ，＆＃39; val_data_size＆＃39;：100，＆＃39; learning_rate＆＃39;：0.1，＆＃39;灰度＆＃39;：0.0，＆＃39; train_data_size＆＃39;：250，＆＃39; minimal_learning_rate＆＃39;：1e-05，＆＃39; save_valid_scores ＆＃39;：错误，＆＃39; train_batch_size＆＃39;：50，＆＃39;轮换＆＃39;：0.0，＆＃39; val_epoch_size＆＃39;：2，＆＃39;数据＆＃39;：＆＃39; gs：// crispdata / cars_128＆＃39;，＆＃39; val_batch_size＆＃39;：50，＆＃39; num_classes＆＃39;：2，＆＃39; learning_rate_decay＆＃39;：＆＃39; linear＆＃39;，＆＃39; random_seed＆＃39;：5，＆＃39; num_threads＆＃39;：1，＆＃39; num_gpus＆＃39;：1，＆＃39; test_dir＆＃39;：＆＃39; ＆＃39;，＆＃39; shuffle_traindata＆＃39;：False，＆＃39; pca_jitter＆＃39;：0.0，＆＃39; moving_average_decay＆＃39;：1.0，＆＃39; sample_size＆＃39;：128，＆＃39; job-dir＆＃39;：＆＃39; gs：// tfoutput / joboutput＆＃39;，＆＃39; learning_algorithm＆＃39;：＆＃39; sgd＆＃39;，＆＃39; train_epoch_size＆＃39 ;：5，＆＃39; model＆＃39;：＆＃39; trainer.crisp_model_2x64_2xBN＆＃39;，＆＃39;验证＆＃39;：False，＆＃39; tower_name＆＃39;：＆＃39; tower＆＃ 39;}

在开始训练之前，我用100个CIFAR图像填充队列。这将需要几分钟。

我说：＆＃34;火车＆＃34;

我认为：＆＃34; NoOp＆＃34;

我输入：＆＃34; ^ GradientDescent＆＃34;

我输入：＆＃34; ^ ExponentialMovingAverage＆＃34;

I 128 128

我2017-04-11 14：42：44.766116：纪元0，损失= 0.71，lr = 0.100000（5.3例/秒; 9.429秒/批）

我2017-04-11 14：43：19.077377：纪元1，损失= 0.53，lr = 0.099500（8.1例/秒; 6.162秒/批）

我2017-04-11 14：43：51.994015：纪元2，损失= 0.40，lr = 0.099000（7.7例/秒; 6.479秒/批）

我2017-04-11 14：44：22.731741：纪元3，损失= 0.39，lr = 0.098500（8.2例/秒; 6.063秒/批）

我2017-04-11 14：44：52.476539：纪元4，损失= 0.24，lr = 0.098000（8.4例/秒; 5.935秒/批）

我2017-04-11 14：45：23.626918：纪元5，损失= 0.29，lr = 0.097500（8.1例/秒; 6.190秒/批）

我2017-04-11 14：45：54.489606：纪元6，损失= 0.56，lr = 0.097000（8.6例/秒; 5.802秒/批）

我2017-04-11 14：46：27.022781：纪元7，损失= 0.12，lr = 0.096500（6.4例/秒; 7.838秒/批）

我2017-04-11 14：46：57.335240：纪元8，损失= 0.25，lr = 0.096000（8.7例/秒; 5.730秒/批）

我2017-04-11 14：47：30.425189：纪元9，损失= 0.11，lr = 0.095500（7.8例/秒; 6.398秒/批）

这是否意味着GPU正在使用中？如果是，那么在执行相同的代码时，为什么与Grid K520存在巨大的速度差异有任何想法？

Google Cloud ML Engine GPU错误

1 个答案: