Question

我正在使用sqoop导入工具将数据导入HBASE表。我已经创建了一个自定义的PutTransformer类，我已经提供了jar和属性来使用自定义变换器，但它没有考虑自定义变换器类。

任何人都可以帮助我。

Sqoop命令：

sqoop import -libjars /home/ghk/hbase/poc/customsqoop.jar -D sqoop.hbase.insert.put.transformer.class = com.sqoop.transformer.CustomPutTransformer --connect'jdbc：oracle：thin： @ // XX.XY.XA.XZ：1521 / a701' - 表XYZ.TEMP_HBASE_TYPE2 - 列'TID，HBASE_TYPE，DESCRIPTION，IS_DELETED，CREATED'-hbase-create-table --hbase-table'TEMP_HBASE_TYPE2' --column-family CLMN --hbase-row-key'TID'--fetch-size'10000' - class-name'HBaseType' - split-by'TID'--username xxx - password xxxyy - compress --compression-codec org.apache.hadoop.io.compress.SnappyCodec --num-mappers 3 --outdir / home / ghk / hbase / poc / SqoopClasses

此致 GHK。

Answer 1

使用在 /etc/sqoop/conf/sqoop-env.sh 中定义的环境变量“ SQOOP_USER_CLASSPATH”，而不使用 libjars 参数。

$ grep USER /etc/sqoop/conf/sqoop-env.sh 
export SQOOP_USER_CLASSPATH="`ls ${HIVE_HOME}/lib/libthrift-*.jar 2> /dev/null`:${SQOOP_USER_CLASSPATH}"
$ export SQOOP_USER_CLASSPATH=/custom/lib01.jar:/custom/lib02.jar
$ sqoop import ...

如何使用Sqoop libjars选项？

1 个答案: