我有一项任务是将Flask应用程序放置在Docker容器中, 然后,根据用户请求,flask应用程序必须在主机上启动spark作业,并从主机获取其运行状态并将其显示给用户。
我知道docker可以单独使用,但不确定如何在主机上执行spark命令(带有Linux的aws实例)。 有人可以在这里帮助我。 我的问题是 1. docker上的哪种配置将允许我在主机上执行命令。 2.如何将状态恢复到关于火花作业的容器。
这是针对使用linux和pyspark 2.4.3的aws实例,我尝试运行docker,但不确定如何从此处继续操作
由于IP问题,我无法在此处提供代码
预期结果 当用户提供请求时, docker中的flask应该在主机上启动spark作业, 当用户想了解作业瓶的详细信息时,应将结果反馈给主机(aws实例)