Sqoop使用查询导出

Question

我们正在尝试将HIVE表中的数据导出到HANA，能够使用Sqoop导出命令中的--hcatalog表选项导出数据。

但是在尝试使用带有where子句

的查询选项加载数据时遇到问题

是否可以在sqoop export命令中使用查询选项？

My Sample scoop命令如下所示

sqoop export -D sqoop.export.records.per.statement=1 -D mapreduce.map.memory.mb=16384 -D mapreduce.map.java.opts=-Xmx16384m  --connect "jdbc:xxxxxx" --driver "com.sap.db.jdbc.Driver" --username "xxxxx" --password "xxxxxx" --table "hanaschema.table1" --query "select field1,substr(field2,1),field3,field4,from "hadoopschema.table" where field1 = 2017 and field3 = 4" --input-null-string '\\N' --input-null-non-string '\\N' --num-mappers 20 –-validate

感谢您的帮助..

由于 作者Srini

Answer 1

不幸的是，Sqoop Export不支持--query参数。我们只能使用Sqoop import命令。

有关Sqoop导出中可用选项的详细信息，请参阅Export control arguments部分。

或者，将查询的输出复制到另一个表中，然后将该表导出到HANA。