IOException:状态的大小大于允许的最大内存支持状态

时间:2018-05-03 07:14:37

标签: apache-flink flink-streaming

运行简单的wordcount时,我遇到以下IO异常 apache flink在集群模式下的应用程序。

  

IOException:状态的大小大于允许的最大值   内存支持状态。大小= 34521369,maxSize = 5242880。考虑使用   不同的状态后端,如文件系统状态后端。

我已经使用了文件系统状态后端并配置了检查点 和状态后端目录。

如何解决此问题?

1 个答案:

答案 0 :(得分:1)

请注意,FSStateBackend有点错误,因为它实际上将堆用于状态,只使用文件系统作为检查点。如果你有大量的州,你应该考虑:

  • 增加分配给JVM的堆
  • 使用RocksDB状态后端,即堆外并使用存储
  • 在其他计算机上的其他任务管理器中分配您的工作