我想使用sqoop import job将数据sqoop到hive列​​分区表中。我们应该怎么做？

Question

我在国家/地区列上分区了一个配置单元表。 我的RDBMS列如下：

id int, fname varchar(45), lname varchar(45), email varchar(45), password varchar(45), street varchar(45), city varchar(45), state varchar(45), zipcode varchar(45), c_time timestamp

样本数据： 1，Richard，Hernandez，XXXXXXXXX，XXXXXXXXX，6303 Heather Plaza，Brownsville，TX，69696,2017-07-20 20：24：17.0

Sqoop Job：

    sqoop job --create customer_partition -- import --connect jdbc:mysql://host/serverName 
    --username root -P --table customers --check-column c_time --incremental lastmodified 
--last-value 0 --merge-key id --target-dir '/user/cloudera/partitionedTables/customers_partition/' 
    --fields-terminated-by ',' --hive-import 
    --hive-table customers_partition --hive-partition-key "state";

Hive分区表：

create external table customers_partition(id int, fname varchar(64), lname varchar(64), email varchar(64), 
password varchar(64), street varchar(45), city varchar(45), zipcode varchar(64), cob_dt timestamp)
partitioned by (state varchar(45))
row format delimited
fields terminated by ','
location '/hdfsPath/customers_partition/';

在hdfs文件夹中输出sqoop之后，输出文件包含以下格式的数据：

1,Richard,Hernandez,XXXXXXXXX,XXXXXXXXX,6303 Heather Plaza,Brownsville,TX,69696,2017-07-20 20:24:17.0
which points to same columns same as RDBMS columns. 

When I perform hive query: select * from customers_partition; showing 0 records found in hive.

这是因为分区的hive表列排列与普通的RDBMS表列排列不同。

我们如何解决这个问题。我想直接将数据导入到hive分区表中，并且在运行此sqoop作业时需要更新记录。如果我错了，还有其他方法吗？

如何使用两个或多个hive分区列执行相同的操作。

Answer 1

您需要添加--hive-partition-value个参数。分区值必须是字符串。

由于您使用的是sqoop job --create --last-value 0，因此不需要。请删除它。