将数据从Postgresql导入到Hive

时间:2018-12-14 08:34:29

标签: hive sqoop

将表格从Postgresql导入到Hive时遇到问题。我正在使用的查询是:

sqoop import \
--connect jdbc:postgresql://IP:5432/PROD_DB \
--username ABC_Read \
--password ABC@123 \
--table vw_abc_cust_aua \
-- --schema ABC_VIEW \
--target-dir /tmp/hive/raw/test_trade \
--fields-terminated-by "\001" \
--hive-import \
--hive-table vw_abc_cust_aua \
--m 1

我遇到错误

  

错误工具。ImportTool:导入期间错误:找不到表vw_abc_cust_aua的主键。请使用--split-by指定一个,或使用'-m 1'执行顺序导入。

请让我知道我的查询出了什么问题

1 个答案:

答案 0 :(得分:0)

我正在考虑-- --schema ABC_VIEW是一个错字错误,应该是--schema ABC_VIEW

另一个问题是提供映射器编号的选项是-m--num-mappers而不是--m

解决方案

在脚本中将--m更改为-m--num-mappers