teradata连接器sqoop sequencefile格式是否可以克服分隔符问题?

时间:2017-04-24 22:30:54

标签: hadoop hive teradata sqoop

如果数据库包含","等字段。和" \ n"在字段中,有没有办法sqoop到hive而不必修复那些分隔符,可能使用替代格式而不是标准文本文件?一直在使用一些解决方法(即/替换分隔符,oreplace等)。

1 个答案:

答案 0 :(得分:2)

我找到的解决方案是基于列的新行字符来解决这个问题:

SELECT 
  COL_A,
  OREPLACE(COL_B, '0A'XC, '_replace_char_'),
  ...,
  COL_N
FROM
  TABLE_NAME

假设这也适用于逗号。我还没有测试你是否可以嵌套这个替换char语句。还没有估计对假脱机空间使用的影响。

解决方案在第一个问题中找到,而不是在“答案”中找到:

https://community.teradata.com/t5/Database/Removing-a-line-break-character-in-a-column/td-p/52431