Sqoop Incremental Import lastmodified:如何合并Avro?

时间:2013-09-04 09:07:32

标签: sqoop avro

使用import_old运行同一个表import_new--as--avrofile的两次增量导入后,我根本就不知道,我无法merge这两个。< / p>

我看到以下例外情况:

java.lang.NumberFormatException: For input string: ""fields":[{"name":"cluster_id""

我可以使用一些Avro --jar-file--class-name吗?

它必须非常简单,但我不明白。我使用以下sqoop版本:

Sqoop 1.4.3 / git commit id 82fde21d0f6c89059bade4588f3ba6989989dc76 / 由hari于2月26日星期二太平洋时间晚上11:28:37编制。

1 个答案:

答案 0 :(得分:1)

Sqoop目前不支持avro文件的合并(在lastmodified模式下增量导入需要)。已经有JIRA SQOOP-1094来添加此类支持。