在spark作业中调用JDBC到impala / hive并加载表

Question

我正在尝试在java中编写一个spark作业，它将打开与Impala的jdbc连接，让我加载一个表并执行其他操作。

我该怎么做？任何一个例子都会有很大的帮助。谢谢！

Answer 1

如果必须使用JDBC，那么您可能想要尝试的是在spark驱动程序中执行查询。

E.g。使用impyla for python，你可以从正常的元组列表中获得impala的结果。稍后您可以使用parallelize（）将此结果转换为spark rdd。