Sqoop导出不遵守--columns参数

Question

我有一个sqoop作业，我只想将一个HIVE表中的3列导出到只有这3个字段的mysql表中。

export --connect <table> --username <U> --password <p>
--table target --columns "col1,col2,col3" --export-dir /path/to/source/table

请注意，col1，col2，col3在hive表中有一些字段。

抛出的错误是IllegalArgumentException，因为Sqoop正在解析hive表中col1和col2之间的字符串字段，我明确地试图忽略它，并尝试将其存储为时间戳。

任何建议都将受到高度赞赏谢谢！

Answer 1

你遇到了麻烦，因为--columns不适合你要做的事情。

使用sqoop导出数据时，--columns可让您指定目标中您将“影响”的列。它与源（在您的情况下，Hive）无关。

运行sqoop help export，您只会得到该选项的简短说明：

--columns <col,col,col...>                                Columns to
                                                          export to
                                                          table