我有一个全新的AWS EMR集群实例(一个名称节点,三个数据节点4个vCore,16个GiB内存,每个64 GiB存储)。我正在尝试使用标准测试(例如TestDFSIO和Teragen)对其进行测试。我使用以下命令从主节点运行TestDFSIO:
sudo -u hadoop纱罐 /usr/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.8.5-amzn-6-tests.jar TestDFSIO -write -nrFiles 5 -fileSize 100MB
该作业提交,但随后陷入“已接受”状态并永远停留在那里。我查了一下情况-如果工作缺乏资源,这似乎通常会发生。但是,根据ResourceManager的判断,它具有很多功能:
到目前为止,还没有任何一项工作以适当的方式结束,所有“完成的”工作都通过cli来杀死。
我遇到麻烦的原因可能是什么?