如何在没有输入文件的情况下运行mrjob?

时间:2014-05-21 22:58:11

标签: python mrjob

我有一个mrjob程序,只是从sql数据库中获取数据,所以我不需要读取本地文件或任何输入文件,但是mrjob强迫我从STDIN'读取,所以我只是创建一个空文件作为输入文件。它真的很难看,有没有办法在没有输入文件的情况下运行这个工作?

3 个答案:

答案 0 :(得分:1)

您是否尝试过将mysql的输出传递给mrjob?类似的东西:

mysql -D database -u user < test.sql | python mrjob_script.py

答案 1 :(得分:0)

转到here并查找名为&#34;文件选项的部分。&#34;那会让你开始。

答案 2 :(得分:0)

如何使用/dev/null?它不会删除输入要求,但您不需要每次都创建一个空文件,它始终存在。

python your_mr_job.py /dev/null