如果值不在双引号内,如何处理特殊字符?

时间:2017-01-20 12:14:09

标签: hadoop hive

我们有一些CSV格式的数据,我们要在其上创建Hive外部表。数据采用以下格式:

20160708,1234,"""some text\nsome ot,her text",foo  ,bar
20160718,3210,hello text                   ,hello,x  ,y,more,columns

正如我们在上面看到的,第一行中的第3列包含三个双引号,它也包含\n个字符。我已经使用OpenCSV SerDe来正确解析这一行,但是Hive只是将20160708,1234,"""some text部分解析为第一行并且错过了some ot,her text",foo ,bar这一部分。

我有以下问题:

  1. 领先的3个双引号导致此问题?
  2. 可以编写map-reduce程序或Pig脚本来删除3个双引号来解决这个问题吗?

0 个答案:

没有答案