无法在EMR上导入mrjob

时间:2017-04-05 13:40:22

标签: python python-import emr mrjob

所以我试图运行我的mrjob但在第一行收到错误:

'use strict';

var fs = require('fs');

var readFilePromise = function(file) {
  return new Promise(function(ok, notOk) {
    fs.readFile(file, function(err, data) {
        if (err) {
          notOk(err)
        } else {
          ok(data)
        }
    })
  })
}

readFilePromise('/etc/passwd').then(function(data) {
  // do something with the data...
})

我按照以下方式开展工作:

ImportError: No module named mrjob.job

我还尝试将以下行添加到我的mrjobs.conf中:

python main.py --bootstrap-mrjob -v -r emr --emr-job-flow-id j-XXXXXXXXX ../data/data.txt

它不起作用。 那么如何解决呢?

编辑: 实际上,如果我从命令行创建群集,我不会收到此错误,但如果我要在已经运行的群集上运行脚本,则会因此错误而失败。

编辑: 所以另一个区别是,在从命令行创建的集群上,我有以下步骤

bootstrap:
- sudo pip install mrjob

但是在已经运行的群集上我还没有

1 个答案:

答案 0 :(得分:0)

您需要明确传递mrjobs.conf:-c mrjobs.conf