Question

MRJob失败并显示错误

我在EMR集群上使用MRJob运行一个简单的Hadoop作业。工作正常开始但是

Job launched 181.2s ago, status STARTING: Provisioning Amazon EC2 capacity
Job launched 211.4s ago, status STARTING: Provisioning Amazon EC2 capacity
Job launched 241.6s ago, status BOOTSTRAPPING: Running bootstrap actions
Job launched 271.8s ago, status BOOTSTRAPPING: Running bootstrap actions
Job on job flow j-7711LTEPTIOB failed with status SHUTTING_DOWN: On the master instance (i-bed4e153), bootstrap action 1 returned a non-zero return code

EMR日志说明如下

copyToLocal: `s3://[path-to-file]/mrjob.tar.gz': No such file or directory

但是我可以看到这个文件在S3上的正确位置被复制了。

请帮忙！

Answer 1

知道了。错误实际上在[path-to-file]中。我的$ USER包含一个反斜杠'\'，然后被MRJob用作S3上临时文件夹的名称。 S3目录名中不接受“\”。解决方案是在虚拟环境中修改$ USER。

MRJob因Hadoop错误而失败copyToLocal：[...]没有这样的文件或目录

1 个答案: