sqoop是否支持使用配置单元进行动态分区?

时间:2017-09-17 10:39:24

标签: hadoop hive sqoop bigdata

sqoop是否支持使用配置单元进行动态分区? 我尝试使用下面提到的选项: --hive-partition-key和--hive = partition-vlaue仅用于静态分区

例如: sqoop导入 --connect“jdbc:mysql://quickstart.cloudera:3306 / prac” --username root --password cloudera --hive进口 --query“从学生中选择id,name,ts,city ='Mumbai'和\ $ CONDITIONS” --hive-partition-key city --hive-partition-value'Mumbai' --hive-table prac.student --target-dir / user / mangesh / sqoop_import / student_temp5 --split-by id

1 个答案:

答案 0 :(得分:0)

您可以使用hcatalog导入 - 您需要sqoop 1.4.4才能执行此操作。



sqoop import \
  --connect "jdbc:oracle:SERVERDETAILS" \
  --username <User Name>\
  --password <Password> \
  --table <Databse.Tablename> \
  --fields-terminated-by ',' \
  --split-by <Column Name> \
 --hcatalog-database <Hive DatabseName>
--hcatalog-table <Hive Table Name>
&#13;
&#13;
&#13;

有关详情,请浏览

http://sqoop.apache.org/docs/1.4.4/SqoopUserGuide.html#_sqoop_hcatalog_integration