我是Spark的新手,我正在努力了解如何(如果有的话)将数据帧注册为Spark thrift服务器中的临时表。 澄清一下,这就是我想要做的事情:
到目前为止,我没有成功 - Spark ThriftServer正在Spark master上运行,但我无法实际注册任何临时表。
这可能吗?我知道我可以使用HiveThriftServer2.startWithContext通过JDBC提供数据帧,但这需要应用程序永远运行+它需要我启动其他应用程序。
答案 0 :(得分:0)
关键的想法是在Spark作业中注册所有临时表,最后从这个作业启动SparkThriftServer。它将保持您的工作运行,直到您终止thrift服务器。您还可以通过JDBC查询SparkThriftServer以获取所有临时表。 Here it is described with example