我试图在AWS EMR上运行hadoop作业,我在本地使用python对s3中的文件执行。我似乎无法使用*
访问多个文件。我希望能够访问01文件夹中的所有文件。此代码适用于此文件夹中的所有文件:
python mapper_reducer.py -r emr s3://firehose/2017/01/30/20/ --output-dir=s3://job-results
此代码收到错误no matches found: s3://firehose/2017/01/*/*/
python mapper_reducer.py -r emr s3://firehose/2017/01/*/*/ --output-dir=s3://job-results
这是mrjob的问题吗?我尝试添加--recursive
标记但没有结果