我正在尝试在Amazon ec2 ebs支持的实例上运行moses服务器。语言模型和翻译模型总共约200GB。我想有一个moses安装实例加载存储在s3上的语言模型和翻译模型。但我不知道如何配置moses.ini文件,以使moses知道ttable-file和lmodel-file的路径。如果有人以前做过这件事,我们将非常感谢任何帮助!!
谢谢。
答案 0 :(得分:1)
我不建议使用Amazon S3。 Amazon S3用于在Web上有效地分发文件。但如果您的整个目的只是在VM中读取这些文件 - 那么在S3中保存这些文件并不是正确的选择。有关详细信息,请参阅this answer。
使用yes it is possible to mount an S3 bucket将S3FS作为服务器内的文件夹回答您的问题。以下是Ubuntu和Red Hat的说明。
但其他理想方法是:
如果硬盘中没有足够的空间,请在另一个分区上安装Moses服务器,使用BTRFS对其进行格式化并启用Transparent Compression。当您从硬盘保存/检索时,这将自动压缩/解压缩文件,因此您最终将使用更少的空间。此外,在许多基准测试中,透明压缩显示得更快,因为在硬盘和RAM之间传输的数据量较少。特别是涉及大文件时。
您始终可以attach a secondary EBS disk到正在运行的VM(如辅助硬盘)。用于存储翻译/模型(您也可以将上面的启用透明压缩结合起来)
运行不带EBS的单独VM,只使用普通实例存储,并使用它来单独存储翻译。现在,在您的Moses服务器中,您可以使用SSHFS
总的来说,不要使用S3,还有其他更好的方法。
编辑:添加了链接