我正在使用Python程序运行hadoop mapreduce作业,该程序创建不同的输入路径作为mapreduce作业的参数。在使用命令将这些输入路径传递到mapreduce之前,我正在检查hadoop fs路径是否存在:
hadoop fs -test -e 'filename'
我的Python程序然后与命令行通信并确定文件是否存在(-test在文件存在时返回0,否则返回大于1的整数)。由于Python程序检查路径存在并将所有不存在的路径输出到单独的.txt文档,因此我不需要知道哪些路径不存在作为命令行警告。
我想知道如何抑制(或忽略)自动hadoop fs输出:
test: 'fileName': No such file or directory
因为我输入了大量的路径,其中相当一部分在hadoop fs中不存在。
答案 0 :(得分:1)
将错误/警告重定向至/dev/null/
hdfs dfs -test -e I/dont/exist 2>/dev/null