使用Python的Wordcount错误

时间:2015-03-31 07:11:25

标签: python hadoop

我正在使用以下命令在hadoop中运行字数统计程序

hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming.jar -file /home/Hadoop/Python/mapper.py -mapper mapper.py  -file /home/Hadoop/Python/reducer.py -reducer reducer.py -input "/Hadoop/Hive.txt" -output "/Hadoop/output.txt"

以下错误导致程序失败

  

引起:java.io.IOException:无法运行程序   "在/ var / lib中/ Hadoop的纱线/高速缓存/纱线/纳米本地-DIR / usercache /根/应用程序缓存/ application_1427776730247_0008 / container_1427776730247_0008_01_000006 /./ mapper.py&#34 ;:   error = 2,没有这样的文件或目录

我认为这些是创建的运行时目录,并且yarn对此目录具有读写权限。

我是否需要手动更改这些目录的权限并将mapper和reducer文件放在那里?

0 个答案:

没有答案