我们可以从Flask应用程序(在Docker内部)运行Spark作业(在主机中)吗

时间:2019-04-25 15:07:53

标签: docker flask pyspark

我有一项任务是将Flask应用程序放置在Docker容器中, 然后,根据用户请求,flask应用程序必须在主机上启动spark作业,并从主机获取其运行状态并将其显示给用户。

我知道docker可以单独使用,但不确定如何在主机上执行spark命令(带有Linux的aws实例)。 有人可以在这里帮助我。 我的问题是 1. docker上的哪种配置将允许我在主机上执行命令。 2.如何将状态恢复到关于火花作业的容器。

这是针对使用linux和pyspark 2.4.3的aws实例,我尝试运行docker,但不确定如何从此处继续操作

由于IP问题,我无法在此处提供代码

预期结果 当用户提供请求时, docker中的flask应该在主机上启动spark作业, 当用户想了解作业瓶的详细信息时,应将结果反馈给主机(aws实例)

0 个答案:

没有答案