哪种Google Cloud Platform服务最适合运行Tensorflow?

时间:2016-04-28 13:49:12

标签: tensorflow google-compute-engine google-cloud-platform google-kubernetes-engine google-cloud-ml

在开展Udacity深度学习任务时,我遇到了内存问题。我需要切换到云平台。之前我曾使用AWS EC2,但现在我想尝试使用Google Cloud Platform(GCP)。我需要至少8GB的内存。我知道如何在本地使用docker但从未在云上试过它。

  1. 是否有在GCP上运行Tensorflow的现成解决方案?
  2. 如果没有,哪个服务(计算引擎或容器引擎)会让它更容易上手?
  3. 任何其他提示也不胜感激!

6 个答案:

答案 0 :(得分:20)

总结答案:

  • Datalab
  • Cloud ML
  • 在Compute Engine上手动安装。请参阅以下说明。

在计算引擎上运行TensorFlow的分步说明:

  1. Create a project
  2. 打开Cloud Shell(顶部的按钮)
  3. 列出机器类型:gcloud compute machine-types list。您可以更改我在下一个命令中使用的机器类型。
  4. 创建一个实例:
  5. gcloud compute instances create tf \
      --image container-vm \
      --zone europe-west1-c \
      --machine-type n1-standard-2
    
    1. 运行sudo docker run -d -p 8888:8888 --name tf b.gcr.io/tensorflow-udacity/assignments:0.5.0(将图像名称更改为所需的图像名称)
    2. dashboard中修改您的实例并修改default网络。
    3. 添加防火墙规则以允许您的IP以及协议和端口tcp:8888
    4. 从仪表板中查找实例的外部IP。在浏览器中打开IP:8888。完成!
    5. 完成后,删除已创建的群集以避免收费。
    6. 这就是我做到的方式而且有效。我相信有一种更简单的方法可以做到。

      更多资源

      您可能有兴趣了解更多信息:

      很高兴知道

      • “即使在虚拟机终止并重新启动后,您的Cloud Shell主目录的内容仍会在所有Cloud Shell会话之间的项目中保留”
      • 列出所有可用的图片版本:gcloud compute images list --project google-containers

      感谢@ user728291,@ Matatt。和@CJCullen。

答案 1 :(得分:9)

Google Cloud Machine Learning今天以Beta格式向全世界开放。它提供TensorFlow即服务,因此您不必管理机器和其他原始资源。作为Beta版本的一部分,Datalab已经更新,为机器学习提供命令和实用程序。请查看:http://cloud.google.com/ml

答案 2 :(得分:3)

Google在有限的Alpha中有Cloud ML platform

以下是关于在Kubernetes / Google容器引擎上运行TensorFlow的blog posttutorial

如果这些不是您想要的,那么TensorFlow tutorials应该都可以在AWS EC2或Google Compute Engine上运行。

答案 3 :(得分:1)

您现在还可以使用预先配置的DeepLearning images。它们具有TensorFlow所需的一切。

答案 4 :(得分:1)

这是一个古老的问题,但是现在有了新的甚至更简单的选项:

如果要通过Jupyter Lab运行TensorFlow

GCP AI Platform Notebooks,使您可以单击访问预装Tensorflow的Jupyter Lab笔记本(如果愿意,也可以使用Pytorch,R或其他一些库)。

如果您只想使用原始VM

如果您不关心Jupyer Lab,而只想预装Tensorflow的原始VM,则可以使用GCP的Deep Learning VM Image创建VM。这些DLVM映像为您提供了一个预装有Tensorflow的VM,并且可以根据需要将其全部设置为使用GPU。 (AI平台笔记本在后台使用这些DLVM图像)

如果您想同时在笔记本电脑和云上运行它

最后,如果您希望既可以在个人笔记本电脑上也可以在云中运行tensorflow并且可以轻松使用Docker,则可以使用GCP的Deep Learning Container Images。它包含与DLVM映像完全相同的设置,但打包为容器,因此您可以在任意位置启动它们。

额外的好处:如果您在笔记本电脑上运行此容器映像,则它是100%免费的:D

答案 5 :(得分:0)

我不确定您是否需要留在Google云端平台上。如果您能够使用其他产品,您可以节省大量时间和一些钱。

如果您使用的是TensorFLow,我会推荐一个名为TensorPort的平台。它专门用于TesnorFlow,是我所知道的简单平台。代码和数据使用git加载,它们提供了一个python模块,用于自动切换远程和本地计算机之间的路径。如果需要,它们还提供一些锅炉板代码,用于设置分布式计算。希望这可以帮助。