使用Apache Drill通过ODBC / JDBC查询s3问题

时间:2017-06-16 15:26:57

标签: amazon-s3 odbc spring-jdbc apache-drill

我使用Apache Drill(v1.10.0)Windows嵌入式连接到S3,但是除非我使用Drill Explorer客户端,否则我遇到了成功查询的问题

ODBC连接有效(下面的连接字符串)

CastAnyToVarchar=true;
Catalog=s3citibike;
Schema=default;
HandshakeTimeout=5;
QueryTimeout=180;
TimestampTZDisplayTimezone=local;
NumberOfPrefetchBuffers=5;
StringColumnLength=1024;
ConvertToCast=false

如果我使用Drill Explorer(直接进入Drillbit),我可以在s3citibike.default中查看文件,并查看数据(参见附图)但由于某些原因,当使用ODBC与其他客户端(如Excel中。

我可以使用sqline查询,例如下面的查询成功返回数据集

SELECT * FROM `s3citibike`.`default`.`./201307-citibike-tripdata.csv` LIMIT 100;

我有点猜测我没有正确指定文件夹路径,但是我一直在寻找一段时间,尝试了Catalog = DRILL,schema = s3citibike.default,无济于事

我为我的客户端尝试使用drill-jdbc-all-1.10.0.jar JDBC驱动程序,但是理解它不能与嵌入式Windows一起使用

我的一个销售人员刚刚问过我是否可以在几个小时的时间内召开客户会议,而无法通过Apache Drill ODBC或JDBC查询S3是一个交易破坏者。

谁能看到我出错的地方?

enter image description here

谢谢和问候, 千斤顶

1 个答案:

答案 0 :(得分:1)

从Apache Drill用户组获得一些反馈

“使用像Excel这样的工具,您必须弄清楚如何输入自定义SQL,或者如果您希望数据对这些工具更加可见,您必须创建钻取视图,然后通过工具引用这些视图ODBC / JDBC。在视图中正确定义列名和数据类型,以便最终用户/工具更容易处理数据(这样就可以将工作推送到Drill)。“

我在.tmp架构中创建了一个视图,引用了包含我的csv文件的架构。我能够在我的客户端

中成功查看和查询此视图