将输出存储到Pig中的CSV文件

Question

尝试将输出存储到Pig中的CSV文件时，该命令成功运行，但是在目标位置创建了一个新文件夹而不是文件名。

你能帮帮我吗？

这是我使用的命令

将A存储到'/home/cloudera/Downloads/res.csv';

Answer 1

STORE命令将输出写入hdfs，并根据reducer的数量，将最终结果写入等于reducers总数的文件。如果要将结果输出到单个csv文件，必须合并它，写入本地系统，然后将其复制回您选择的lcoation。

您可以在Pig脚本中使用hadoop命令。

fs -getmerge /home/cloudera/Downloads/* /your/local/dir/res.csv
fs -copyFromLocal /your/local/dir/res.csv /home/cloudera/Downloads

或者

fs -cat /home/cloudera/Downloads/* | fs -put - /home/cloudera/Downloads/res.csv