在EMR中保持,安装和共享卷

时间:2018-03-29 17:26:35

标签: amazon-web-services amazon-ec2 amazon-emr nfs amazon-ebs

AWS是否提供满足以下条件的任何存储解决方案?

  1. 可以作为OS目录安装在EMR集群中的主节点中,例如, /mnt
  2. 如果群集被终止或删除,
  3. 将比EMR群集更长
  4. 可以由多个EC2实例同时访问(在EMR中或不在EMR中)
  5. 在我看来,类似NFS的卷应该满足所有三个,但我不知道EBS,EFS和/或EMRFS是否可以这样使用。至少我正在寻找能给我(1)和(2)

    的东西

    背景:EBS

    在上述问题的背景下,我查看了EBS,但我在此主题上找到了conflicting information

    • EMR文档说EBS卷在EMR中是短暂的:

        

      Amazon EBS在Amazon EMR中的工作方式与常规Amazon EC2实例的工作方式不同。附加到EMR群集的Amazon EBS卷短暂:在群集和实例终止时删除卷(例如,缩小实例组时),因此不要期望数据持续存在非常重要

    • 与此同时,我在EBS中看到一个名为"Delete on termination"的选项,可以设置为False,请参阅下面的屏幕截图。

    enter image description here

1 个答案:

答案 0 :(得分:1)

EFS是您正在寻找的服务。您可以将它安装在同一区域的多个可用区中运行的EC2节点上。

EC2实例使用标准操作系统安装命令,通过NFSv4协议安装Amazon EFS文件系统。

您还可以通过引导脚本在EDR的每个节点上安装EFS。

它将满足您的所有三个标准。