为Apache Spark应用程序结果提供API的推荐方法是什么?

时间:2015-03-01 05:57:20

标签: api hadoop apache-spark

我们在hadoop集群上存储了大量数据。我们需要使用apache spark对这些数据进行一些分析,并通过API将此分析结果提供给其他应用程序。

我有两个想法,但我无法弄清楚推荐哪一个。

第一个选项是制作进行分析的spark应用程序并将结果存储在另一个数据存储区(关系数据库甚至HDFS)中,然后开发另一个应用程序,从其他数据存储区读取分析结果并提供用于查询的API。

第二个选项是将两个应用程序合并到一个应用程序中。通过这种方式,我推断出对另一个数据存储区的需求,但我这样应用程序将一直运行。

在这种情况下,推荐的方法是什么?如果还有其他选项,请列出它。

1 个答案:

答案 0 :(得分:-1)

这取决于用户想要获取api.as的频率如果客户端想要实时结果应该在线api.else可以使用存储结果的第一个方法在另一个数据存储中。