我正在运行Cloudera的Hadoop发行版,一切都运行正常.hdfs包含大量.seq文件。我需要将所有.seq文件的内容合并到一个大的.seq文件中。但是,getmerge命令对我没有任何作用。然后使用cat并将一些.seq文件的数据传输到本地文件。当我想将此文件“放入”hdfs时它什么也没做。没有出现错误信息,也没有创建文件
我能够在hdfs中“touchz”文件,用户权限在这里不是问题.put命令根本不起作用。我做错了什么?
答案 0 :(得分:0)
编写将所有序列文件合并为一个文件的作业。它只是标准的mapper和reducer,只有一个reduce任务。
答案 1 :(得分:0)
如果“hadoop”命令无声地失败,你应该看看它。
只需输入:'which hadoop',这将为您提供“hadoop”可执行文件的位置。它是一个shell脚本,只需编辑它并添加日志记录即可查看正在发生的事情。
如果hadoop bash脚本在开始时失败,那么hadoop dfs -put命令不起作用就不足为奇了。