我有一个运行Spark 2.2.1结构化流的项目,其计算使用mapGroupsWithState。
使用
在本地运行项目 spark-submit --class com.project.DataEnrichment --master local[4] target/scala-2.11/assembly-project.jar
本地checkpointLocation包含以下文件夹:
- commits
- offsets
- sources
- state
但是在我们的docker环境中,checkpointLocation缺少state
文件夹。在完全相同的应用程序运行的情况下。
我正在尝试找到一种将状态保留在Docker之外的方法,以便可以在不重置状态的情况下更新应用程序,但是首先我必须找到它。
码头工人环境正在使用gettyimages/spark:2.2.1-hadoop-2.7
泊坞窗环境不在检查点位置内存储状态是否有逻辑上的原因?可以配置吗?