在EMR EC2实例上保存文件

Question

将文件从S3下载到我的EMR节点时，我遇到了磁盘空间问题。我使用c3.4xlarge节点，它们应该有160GB的空间，但是当在PySpark中使用addFile发送文件（8个450MB文件）时，我得到No space left on device个错误。

知道为什么会这样吗？

在主节点上通过AWS CLI下载文件时，我发现了类似的问题。

发生了什么？

Answer 1

您确定要将文件放在具有所有空间的正确分区上吗？我相信你需要将它们复制到/mnt目录。在其中一台服务器上运行df -H将显示您的空间位置。