在AWS EMR中下载nltk会给出[Errno 28]设备上没有剩余空间＆＃39;

Question

我没有空间＆＃39;在Amazon AWS EMR集群中运行以下代码时出错。

import nltk
nltk.download('all')

我在命令行中检查了内存，下面是可用内存available memory in the cluster的屏幕截图。请跟我来。

Answer 1

有NLTK下载程序将数据下载到基于Unix / Linux的操作系统上的目录/usr/share/nltk_data/。

在有足够磁盘空间和写访问权限的其他位置下载此数据。

python -m nltk.downloader -d /mnt/nltk_data all

由于现在更改了默认数据位置，因此请相应地设置NLTK_DATA环境变量。

export NLTK_DATA=/mnt/nltk_data

您的实例似乎已经耗尽了root下的磁盘空间。 /目录填充到100％，在继续之前释放一些磁盘空间。