WCF与Spark集成

时间:2015-12-23 09:38:41

标签: java c# .net wcf apache-spark

我们在WCF基础架构上运行服务。 WCF服务客户端是.net窗口表单应用程序。对于一些时间和资源密集型任务,我们正在尝试将WCF服务与Apache Spark集成。 WCF服务应该调用Apache Spark来执行任务。 Apache Spark支持java而不是C#。我们需要一些方法来从WCF服务调用Spark进行数据处理。我们正在尝试以插件方式添加火花。如果在不久的将来出现任何新技术,那么我们可以轻松地将其插入以代替火花。

一种方法是使用消息队列,其中WCF将任务放在队列上,而spark从队列中获取任务并执行任务。消息队列方法在体系结构中添加了另一个层。

一个。消息队列架构是一个优雅的解决方案吗?优点和缺点?

湾什么可能是将Spark与WCF集成的其他方法?

1 个答案:

答案 0 :(得分:0)

不是最优雅的:我们运行Java服务器并通过命令行调用Spark。我没有发现Spark适合在我们的Web服务器上运行(过多的重叠依赖项)。一个有趣的替代方案可能是https://github.com/spark-jobserver/spark-jobserver但我尚未尝试