获取异常WARN org.apache.hadoop.streaming.PipeMapRed:java.io.IOException:Broken pipe

时间:2014-01-10 07:23:56

标签: hadoop hadoop-streaming rscript

我在现有的工作R脚本中添加print语句用于某些调试目的。

print("Hello")

我在使用Hadoop流执行此代码时遇到了Broken pipe异常。如果我再次删除此打印它工作,听起来很奇怪! 在编辑Rscript时,我正在通过窗口gitbash使用vi。 能否请您提出解决方案。

1 个答案:

答案 0 :(得分:1)

如果您的Hadoop集群由Linux节点组成,并且您提交了在Windows或窗口gitbash中编辑的脚本,则它将无法运行并引发误导性异常。只需使用vi或emacs在linux中编辑文件即可。或者使用do2unix命令将文件从dos格式转换为linux格式。 (这将删除尾随\ r \ n并替换为\ n)。