Hive to CSV - 特殊字符处理

Question

我有一个Hive表，我使用命令行写入本地的csv文件。我使用以下代码：

hive -e 'select * from my_Table' | sed 's/[\t]/,/g'  > /home/myfile.csv

但是在输出csv文件中，包含特殊字符的记录会以某种方式被拆分为新行。不应该是这种情况。

 Rohan,Kurunäs Ã
 korson,rohan.furuna@company.se,+1 11 111 18 00,VÃâSTERÃâ¦S,Sweden,SvalgÃ¥ngen

任何帮助将不胜感激!!

Answer 1

我建议使用CTAS创建CSV文件并使用CopyToLocal命令将文件复制到所需位置。

set mapreduce.job.reduces=1;
create table mytmptable ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' location 'hdfs://mylocation' as select * from my_Table;
drop table mytmptable;

将Reducer的数量设置为1将创建一个文件。