什么是谷歌计算引擎上文件服务器的最佳等价物

Question

我们正试图从数据中心迁移到Google Compute Engine。 虽然我们了解如何设置实例和部署工作负载，但我们不确定什么是存储数据的最佳等价物。 我们每天都会收到一次数据，并且在过去的1 - 2年内，每个服务器上都会有一些研究在收到的数据上运行。 有什么指针吗？

Answer 1

听起来你正在寻找像NFS这样的共享文件服务器。您可以在单个GCE实例上运行NFS服务器，以将数据分发到各种计算节点。 Linux文档项目has a reasonable howto。

另一种选择是使用像Google Cloud Storage这样的对象存储，它允许您以各种名称存储二进制数据blob（有点像云文件系统）。如果您的软件需要使用标准文件系统命令来访问数据，则可以使用s3fuse之类的FUSE文件系统将Google Storage存储桶导出为每台计算机上的一组文件和目录。

如何在两个选项之间进行选择：

1. 如果您已经在使用NFS，那么继续使用现场相同的配置可能更为舒适。如果没有，我建议试试s3fuse和GCS。
2. 如果您运行自己的NFS服务器，则需要对可能需要执行的任何备份等负责。 Google云端存储在多个站点之间进行复制，因此即使在一个站点中进行维护，您仍然可以读取和写入数据。
3. 像s3fuse这样的FUSE文件系统往往支持读写操作，但可能不支持NFS所做的复杂锁定行为等。
4. 您可能需要为存储在GCS中的数据执行读写操作的次数。 （我不记得了;我认为network traffic to/from GCS from GCE is free。）如果你选择运行自己的NFS服务器，你将不得不为正在运行的实例和持久磁盘付费，以及读取和写入操作磁盘。

您可能也对此其他Stack Overflow问题感兴趣，该问题涵盖了一些相同的理由： Storage options for diskless servers

Answer 2

只是为了响起并回应E. Anderson的回答，如果你已经在使用NFS并考虑使用s3fuse，你可能还想看看gcsfuse做类似的工作但是（我被告知）在GCS上有更好的表现（有关各种额外技术细节，请参阅gcsfuse-docs）。