使用Apache Spark查询REST Web服务？

Question

我们在Hadoop上有一些数据需要通过REST服务向我们提供的数据进行扩充。我们正在使用Spark来搜索和更正丢失的数据。即使有很多记录要搜索缺失的数据，但预计服务的总呼叫数量会很少，因此在我们搜索数据时，最好在Spark完成整个工作。

我在API或Google上没有看到任何明显与Spark作业进行REST调用有关的内容。有可能吗？

由于

Answer 1

没有针对此特定的游戏，您可以使用您最喜欢的java或scala HTTP库进行调用，可能在map函数中，它将返回输入数据和您从服务中检索的数据。