我已经开发了基于flink sql的规则引擎。但是在实践中,我发现如果我向flink应用程序提交太多规则(exp:70 sqls)并将并行度值设置为大于1(exp:70 sqls,并行度值为10,taskmnager值为10,taskmanager插槽号)是1)并在纱上运行flink应用程序,则应用程序将失败。
Ps:在同一个表上执行的所有sql,或者换句话说,它们共享相同的源。
是否有人也遇到过相同的问题?我怎么能绕它走?
下面是错误日志:
由以下原因引起:org.apache.flink.runtime.client.JobExecutionException:作业执行失败。 在org.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:146) 在org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.java:265) ...另外21个 原因:org.apache.flink.util.FlinkException:已删除分配的插槽容器_1564803877349_0254_01_000002_0。 在org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.removeSlot(SlotManager.java:893) 在org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.removeSlots(SlotManager.java:863) 在org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.internalUnregisterTaskManager(SlotManager.java:1058) 在org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.unregisterTaskManager(SlotManager.java:385) 在org.apache.flink.runtime.resourcemanager.ResourceManager.closeTaskManagerConnection(ResourceManager.java:825)