如何在MapReduce结果后将输出文件导出回CSV

Question

我找不到出路，如何将Hadoop Mapreduce结果导出回来，例如CSV或其他文件格式。

有谁知道怎么做？喜欢知道。

请注意我指的是Hadoop的结果，例如：输出1 / part.00000

Answer 1

默认情况下，它们实际上是TSV（制表符分隔），您可以通过设置

进行更改

  mapred.textoutputformat.separator=","

然后您可以通过hdfs -get命令从HDFS下载它，或者使用-merge命令在单个本地文件中获取所有part-ooo *文件的合并输出

  hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile

或

  Usage: hadoop fs -getmerge <src> <localdst> [addnl]

Answer 2

如果你想改变你的java map map生成的密钥和值对文件之间的分隔符，你可以设置：

mapred.textoutputformat.separator to“，”