虚拟机

时间:2017-06-23 17:42:06

标签: cloud google-cloud-platform gpu google-compute-engine file-transfer

我希望使用GPU在Google Compute Engine上创建一个虚拟机,以执行某些任务。

现在的问题是,从我的本地网络上传到VM的数​​据是巨大的,我受到缓慢且不可靠的互联网的严重限制。我知道使用SCP的unix机器之间的文件传输,但即使这样也需要几个小时才能完成,这意味着我的GPU在线(最昂贵的组件)将闲置,我将被收取任何费用。

我曾想过先将文件传输到VM然后添加GPU,但在这种情况下我无法编辑VM来添加GPU。

因此,我需要两种可能的解决方案的帮助。

我是否可以将永久磁盘添加到一个VM,传输数据,生成新VM并将磁盘转移到新VM?如果是,那么如何?

是否可以编辑现有的VM以在创建后添加GPU实例?如果是,那么如何?

任何形式的帮助将不胜感激。谢谢!

2 个答案:

答案 0 :(得分:3)

这些是一些建议:

  • 将您的数据上传到Google Cloud Storage存储桶,然后在需要时将数据从那里提取到VM(与将数据从本地计算机复制到VM相比,这相对较快)。 GCS还提供FUSE tool来在您的VM上安装GCS存储桶,然后根据需要读取/写入数据。 GCS存储桶是此列表中最灵活的选项。

  • 您可以创建永久磁盘,将数据上传到其中一次。然后根据需要将其附加到基于GPU的VM(如果需要)。您可以让多个VM以只读模式同时连接同一磁盘。

  • 您可以对永久磁盘进行快照,并在需要时将快照还原到新的永久磁盘上。这对于备份比主要用例更有用。

  • 考虑对数据进行分块和/或分片,以便在GPU上并行运行工作负载时,可以从远程服务器(如GCS)管道提取数据。

答案 1 :(得分:0)

如果它是一个批处理工作负载并且完成时间不到24小时,那么您应该使用preemptible台机器来大幅降低成本。

技术细节如下:

使用最新highcpu CPU生成的Intel Skylake可能很少有用吗?我不认为你可以抢占GPU台机器。

我的2美分。