mapGroupsWithState状态存储在哪里? Docker和本地实例的行为不同

时间:2019-03-07 16:38:44

标签: docker apache-spark spark-structured-streaming

我有一个运行Spark 2.2.1结构化流的项目,其计算使用mapGroupsWithState。

使用

在本地运行项目

spark-submit --class com.project.DataEnrichment --master local[4] target/scala-2.11/assembly-project.jar 本地checkpointLocation包含以下文件夹:

- commits
- offsets
- sources
- state

但是在我们的docker环境中,checkpointLocation缺少state文件夹。在完全相同的应用程序运行的情况下。

我正在尝试找到一种将状态保留在Docker之外的方法,以便可以在不重置状态的情况下更新应用程序,但是首先我必须找到它。

码头工人环境正在使用gettyimages/spark:2.2.1-hadoop-2.7

中的火花图像

泊坞窗环境不在检查点位置内存储状态是否有逻辑上的原因?可以配置吗?

0 个答案:

没有答案