pyspark工作到现有背景

时间:2016-04-03 18:48:04

标签: apache-spark pyspark spark-jobserver

我想知道如何提交火花"工作"单个应用程序(允许共享RDD工作,但也允许模块的代码/执行独立性)。我在ooyala正式看到了spark-jobserver,但我注意到它还没有支持python。这是scala / java中此用例的常用路由吗?或者我在这里错误的路线?

我还在主要的spark-job服务器上看到了一个不太受欢迎的pyspark-jobserver和未解决的问题,以解决python和R.

为了更好地理解spark-jobserver的使用案例,我还想知道为什么这个功能不会被Spark直接支持,因为他们有详细的作业调度框架。

0 个答案:

没有答案