我尝试使用sqoop从Teradata DB到Hive执行增量导入。以下是查询:
sqoop import --connect jdbc:teradata://xxx.xxx.x.xx/DATABASE=DBN --driver com.teradata.jdbc.TeraDriver --username userN --password pass --query "SELECT alias.colA, alias.call_date, alias.colB, alias.colC FROM tableName alias where \$CONDITIONS" --target-dir /apps/hive/warehouse/staging.db/tableName -m 26 --check-column call_date --incremental append --split-by alias.colA --last-value '2016-02-01'
列call_date属于DATE类型,值格式为' YYYY-MM-DD'。
当我'append'
使用--incremental
时,一切正常。但是当我放'lastmodified'
时,会抛出以下错误:
ERROR util.SqlTypeMap: It seems like you are looking up a column that does not
ERROR util.SqlTypeMap: exist in the table. Please ensure that you've specified
ERROR util.SqlTypeMap: correct column names in Sqoop options.
ERROR tool.ImportTool: Imported Failed: column not found: call_date
我在sqoop 1.4.4.2.1
上使用HDP 2.1
虽然Teradata DB是14.10
任何指针都会有所帮助。