在亚马逊上运行moses服务器

时间:2013-06-04 23:08:58

标签: amazon-s3 amazon-ec2 machine-translation moses

我正在尝试在Amazon ec2 ebs支持的实例上运行moses服务器。语言模型和翻译模型总共约200GB。我想有一个moses安装实例加载存储在s3上的语言模型和翻译模型。但我不知道如何配置moses.ini文件,以使moses知道ttable-file和lmodel-file的路径。如果有人以前做过这件事,我们将非常感谢任何帮助!!

谢谢。

1 个答案:

答案 0 :(得分:1)

我不建议使用Amazon S3。 Amazon S3用于在Web上有效地分发文件。但如果您的整个目的只是在VM中读取这些文件 - 那么在S3中保存这些文件并不是正确的选择。有关详细信息,请参阅this answer

使用yes it is possible to mount an S3 bucketS3FS作为服务器内的文件夹回答您的问题。以下是UbuntuRed Hat的说明。

但其他理想方法是:

  • 如果硬盘中没有足够的空间,请在另一个分区上安装Moses服务器,使用BTRFS对其进行格式化并启用Transparent Compression。当您从硬盘保存/检索时,这将自动压缩/解压缩文件,因此您最终将使用更少的空间。此外,在许多基准测试中,透明压缩显示得更快,因为在硬盘和RAM之间传输的数据量较少。特别是涉及大文件时。

  • 您始终可以attach a secondary EBS disk到正在运行的VM(如辅助硬盘)。用于存储翻译/模型(您也可以将上面的启用透明压缩结合起来)

  • 运行不带EBS的单独VM,只使用普通实例存储,并使用它来单独存储翻译。现在,在您的Moses服务器中,您可以使用SSHFS

  • 从这个单独的非EBS VM单独安装翻译

总的来说,不要使用S3,还有其他更好的方法。

编辑:添加了链接