我在python中编写map-reduce,但我在java中有相同的知识,我试图在用python语言编写的hadoop环境中运行map-reduce
bin/hadoop jar contrib/streaming/hadoop-streaming.jar -file /home/TEST/mapper.py -mapper /home/TEST/mapper.py -input /HADOOP/SourceFiles/input -output /home/hdfs1/HADOOP/my-output4
我正在
Error: java.lang.RuntimeException: Error in configuring object
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:112)
in mapper.py
我想知道:
1)像java一样,有任何依赖项,比如jar和运行python mapper代码的任何包。
2)我在mapper.py中使用过panda,所以如何在解析语句时添加tell hadoop来使用panda
3)一旦我有足够的信息在地图中我做错了,我将分享代码。