使用Future方法的Scala_Spark_DataFrame

Question

我必须解决使用Scala将HiveContext作为Future阅读的情况。但是我无法打印返回的数据帧。

我的代码：

val f: Future[DataFrame] = Future{hive.sql("select * from test1.emp")}

如何从DataFrame对象获取Future[DataFrame]？

Answer 1

就像

一样简单

val f: Future[DataFrame] = Future{hive.sql("select * from test1.emp")}.foreach(df => df.show())

所以基本上就像在这里发布的答案 - Getting data out of a Future in Scala一样，你可以在地图函数中对DataFrame进行所有操作。 df.show()可以替换为任何其他命令。