在python中为hadoop编写map-reduce

时间:2017-07-19 06:59:35

标签: python pandas hadoop mapreduce

我在python中编写map-reduce,但我在java中有相同的知识,我试图在用python语言编写的hadoop环境中运行map-reduce

bin/hadoop jar contrib/streaming/hadoop-streaming.jar -file /home/TEST/mapper.py -mapper /home/TEST/mapper.py -input /HADOOP/SourceFiles/input -output /home/hdfs1/HADOOP/my-output4

我正在

Error: java.lang.RuntimeException: Error in configuring object
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:112)
    in mapper.py

我想知道:

1)像java一样,有任何依赖项,比如jar和运行python mapper代码的任何包。

2)我在mapper.py中使用过panda,所以如何在解析语句时添加tell hadoop来使用panda

3)一旦我有足够的信息在地图中我做错了,我将分享代码。

0 个答案:

没有答案