Apache Livy REST API（/ batches /）-如何将数据返回给客户端

Question

我们正在使用Apache Livy 0.6.0进行孵化，并使用其REST API使用/ batches / API调用自定义火花罐。

自定义火花代码从HDFS读取数据并进行一些处理。该代码成功，REST响应也为“ SUCCESS”。我们希望将数据以/ sessions / API的方式返回给客户端。有办法吗？

注意：/ sessions / API只能接受Spark Scala代码。

Answer 1

我正在做同样的事情，我不确定我的回答是否有用。我正在启动python脚本以使用Django调用HDFS，这使我可以使用jquery和ajax获取有关livy会话/批处理的信息（并且正在运行）。现在，我正在尝试找到一种解决方案，因为我希望livy可以向我发送回调以告知其何时达到SUCCESS状态，而不必每秒刷新一次页面。我以为我会用django-cron，但我仍在用它做实验。

希望它会以某种方式对您有所帮助...

Answer 2

我做了一些类似的设置，我返回数据的方式是将火花结果写入HDFS。当我获得成功时，我从客户端计算机读取HDFS以获取结果。