Spark：如何增加奴隶的驱动器尺寸

Question

如何使用每个都有100GB驱动器的从属服务器启动集群。

./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \
--zone=us-east-1b  --spark-version=1.6.1 \
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \
 launch cluster-test

我使用了大小为100GB的AMI;然而，Spark调整了大小并启动​​了8GB驱动器。如何将该限​​制增加到100GB？

Answer 1

这解决了这个问题，但问题仍然是寻求答案，以避免首先出现这个问题。

事实证明，EBS卷为100GB，但其上的图像仅为8 GB。这就是为什么它只被视为8GB的原因。为了在磁盘上传播图像，此blog详细介绍了如何执行此操作。此外，此SO answer也很有帮助。