使用Spark-Submit运行flask App

Question

我正在使用Flask构建需要一些Spark上下文的API。这是使用 Spark-Submit for Long run 代替Python命令运行Flask应用程序的好方法吗？

Answer 1

您可以使用Celery：Link to docs

这是一个示例示例，该示例在Web应用程序中的spark上调用Async Jobs。选中Spark+Celery blog

Answer 2

您可以在代码内使用findspark的python命令来运行它。

app.py：

# some imports

import findspark
findspark.init()

# spark imports and routes