在EMR上访问hadoop作业的多个文件时找不到匹配项

时间:2017-02-03 00:15:58

标签: python hadoop amazon-s3 mrjob

我试图在AWS EMR上运行hadoop作业,我在本地使用python对s3中的文件执行。我似乎无法使用*访问多个文件。我希望能够访问01文件夹中的所有文件。此代码适用于此文件夹中的所有文件:

    python mapper_reducer.py -r emr s3://firehose/2017/01/30/20/ --output-dir=s3://job-results

此代码收到错误no matches found: s3://firehose/2017/01/*/*/

    python mapper_reducer.py -r emr s3://firehose/2017/01/*/*/ --output-dir=s3://job-results

这是mrjob的问题吗?我尝试添加--recursive标记但没有结果

0 个答案:

没有答案