任何人使用hadoop_fdw与cloudera 5.2.0?

时间:2015-01-16 15:41:38

标签: postgresql hadoop hive cloudera-cdh foreign-data-wrapper

在我们正在运行的pgsql 9.3.4中痛苦安装hadoop_fdw之后,我试图将它连接到cloudera集群5.2.0而没有运气。

有没有办法调试fdw?在创建外表并从中进行选择后,我遇到了一个错误 - 错误:无法连接到Hive:无法读取更多数据。

顺便说一句:hadoop_fdw的一些旧版本能够使用url(jdbc:// server:port / args),但不是最近的版本,只有地址&端口。

1 个答案:

答案 0 :(得分:1)

Hadoop_fdw没有成功。在hive.c中可能存在错误/旧/过时的错误。但是通过更多的努力,我们设法使jdbc_fdw与cloudera jdbc驱动程序一起工作。步骤如下:

1)安装jdbc_fdw扩展名

2)将所有驱动程序jar文件合并为一个

3)CREATE SERVER cloudera2 FOREIGN DATA WRAPPER jdbc_fdw OPTIONS(drivername 'com.cloudera.hive.jdbc4.HS2Driver',url 'jdbc:hive2://fqdn:10000;user=hive',querytimeout '15', jarfile '/opt/cloudera/combined.jar');

心理记录:set client_min_messages to debug5;可以帮助您确定问题的位置,例如:找不到驱动程序等