在ThriftServer中注册临时表

时间:2016-08-29 13:17:46

标签: apache-spark spark-thriftserver

我是Spark的新手,我正在努力了解如何(如果有的话)将数据帧注册为Spark thrift服务器中的临时表。 澄清一下,这就是我想要做的事情:

  • 提交生成数据框的应用程序并将其注册为临时表
  • 从JDBC客户端连接到Spark ThriftServer(在主服务器上运行)并查询临时表,即使在注册完成的应用程序完成后也是如此。

到目前为止,我没有成功 - Spark ThriftServer正在Spark master上运行,但我无法实际注册任何临时表。

这可能吗?我知道我可以使用HiveThriftServer2.startWithContext通过JDBC提供数据帧,但这需要应用程序永远运行+它需要我启动其他应用程序。

1 个答案:

答案 0 :(得分:0)

关键的想法是在Spark作业中注册所有临时表,最后从这个作业启动SparkThriftServer。它将保持您的工作运行,直到您终止thrift服务器。您还可以通过JDBC查询SparkThriftServer以获取所有临时表。 Here it is described with example