使用sqlite3dbm和mrjob进行map reduce

Question

我有一个sqlite3dbm，它将数据存储在键值对中。我需要使用mrjob来处理它。 当我运行代码xyz.py my_db.db时，mapper fn无法正常工作。

def mapper(k,val):
  for word in val:
     yield(word,k)

k

我为空

Answer 1

Check this。您需要适当地配置您的作业以从数据库文件中读取。