在将数据导入hive时,sqoop如何从db2自动修剪某些char-type-columns?

时间:2014-08-26 06:01:07

标签: sql hadoop db2 hive sqoop

我有一个如此大的db2表,其中包含许多char类型的列。

我尝试通过sqoop将数据提取到hive以满足不同的需求。

过去,我在编写Hivesql

时手动修剪所有char类型列

但是,要修剪的柱子很多,我总会忘记其中的一些,这可能会导致一些混乱的问题如下:

假设BANK_TABLE是配置单元的目标表,2323423232323是表中现有的卡号。

如果我执行:

hive -e "select * from BANK_TABLE where card_no='2323423232323' "

结果没有什么可以让我忘记修剪列:card_no当我编写sql导入数据到hive时。

所以我想知道sqool或hive是否有一个好方法可以自动进行'修剪'?

谢谢大家!

1 个答案:

答案 0 :(得分:5)

尝试使用Sqoop中的费用表格查询导入数据。在查询中,使用TRIM。