spark-ec2 --ebs-vol-size不工作

Question

使用spark-ec2启动火花群时，--ebs-vol-size标志似乎无效。使用50或500进行设置，然后ssh进入主节点，df -h会在/上显示大约10G的空间。

如何使用spark-ec2创建更大的EC2虚拟机？

Answer 1

下面提供了一些精心设计的步骤列表，对我有用 -

1. 使用--ebs-vol-size
启动spark-ec2群集

2. 关闭hadoop on ./ephemeral-hdfs

   ./短暂-HDFS / bin中/ stop-all.sh

3. 在./persistent-hdfs

   上启动hadoop

   ./持久HDFS / bin中/ start-all.sh

4. 您可以验证当前大小是否未反映所请求的ebs卷大小

   ./ persistent-hdfs / bin / hadoop dfsadmin -report

5. 运行以下命令（建议将它们放入脚本中）并运行它 -

   ./持久HDFS / bin中/ stop-all.sh

   sed -i的#vol / persistent-hdfs＃vol0 / persistent-hdfs＃g'~ / persistent-hdfs / conf / core-site.xml

   ./ spark-ec2 / copy-dir.sh~ / persistent-hdfs / conf / core-site.xml

   ./ spark-ec2 / copy-dir.sh~ / persistent-hdfs / conf / hdfs-site.xml

   ./ persistent-hdfs / bin / hadoop namenode -format

   ./持久HDFS / bin中/ start-all.sh

6. 重复步骤4以验证尺寸

积分 - Gist Reference by brendancol