我希望使用GPU在Google Compute Engine上创建一个虚拟机,以执行某些任务。
现在的问题是,从我的本地网络上传到VM的数据是巨大的,我受到缓慢且不可靠的互联网的严重限制。我知道使用SCP的unix机器之间的文件传输,但即使这样也需要几个小时才能完成,这意味着我的GPU在线(最昂贵的组件)将闲置,我将被收取任何费用。
我曾想过先将文件传输到VM然后添加GPU,但在这种情况下我无法编辑VM来添加GPU。
因此,我需要两种可能的解决方案的帮助。
我是否可以将永久磁盘添加到一个VM,传输数据,生成新VM并将磁盘转移到新VM?如果是,那么如何?
或
是否可以编辑现有的VM以在创建后添加GPU实例?如果是,那么如何?
任何形式的帮助将不胜感激。谢谢!
答案 0 :(得分:3)
这些是一些建议:
将您的数据上传到Google Cloud Storage存储桶,然后在需要时将数据从那里提取到VM(与将数据从本地计算机复制到VM相比,这相对较快)。 GCS还提供FUSE tool来在您的VM上安装GCS存储桶,然后根据需要读取/写入数据。 GCS存储桶是此列表中最灵活的选项。
您可以创建永久磁盘,将数据上传到其中一次。然后根据需要将其附加到基于GPU的VM(如果需要)。您可以让多个VM以只读模式同时连接同一磁盘。
您可以对永久磁盘进行快照,并在需要时将快照还原到新的永久磁盘上。这对于备份比主要用例更有用。
考虑对数据进行分块和/或分片,以便在GPU上并行运行工作负载时,可以从远程服务器(如GCS)管道提取数据。
答案 1 :(得分:0)
如果它是一个批处理工作负载并且完成时间不到24小时,那么您应该使用preemptible
台机器来大幅降低成本。
技术细节如下:
使用最新highcpu
CPU生成的Intel Skylake
可能很少有用吗?我不认为你可以抢占GPU
台机器。
我的2美分。