使用Sqoop将数据从Postgres导入到Hive时遇到HiveException

时间:2019-04-29 13:13:43

标签: postgresql hive sqoop cloudera hue

我想使用Sqoop将表格从Postgresql导入到Hive。 我无权访问命令行,我被困在使用Hue运行Sqoop命令的过程中。

Hue中有一个添加jar文件的选项,因此我使用了它来包括最新的Postgresql jdbc驱动程序。 我将在下面提供命令示例。 我可以将数据获取到hdfs,运行命令时可以看到生成的文件,但出现错误FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 我尝试以与添加Postgres相同的方式添加hive-common.jar,但仍然出现相同的错误。 用于运行此功能的用户应该具有所有必要的访问权限,我正在尝试将数据加载到沙盒数据库中。

import --connect 
jdbc:postgresql://ip_address:5432/dbname 
--table table_name
--username user_name
--hive-import 
--create-hive-table 
--password password 
-m 1 
--verbose 
--delete-target-dir 
--hive-overwrite 
--hive-table hive_db.hive_table_name
-- --schema schema_name

我尝试了各种组合,但无法正常运行,始终在同一错误中运行。

0 个答案:

没有答案