一次以很高的并行度运行多个sql的Flink应用程序提交失败

时间:2019-08-07 03:16:35

标签: flink-sql

我已经开发了基于flink sql的规则引擎。但是在实践中,我发现如果我向flink应用程序提交太多规则(exp:70 sqls)并将并行度值设置为大于1(exp:70 sqls,并行度值为10,taskmnager值为10,taskmanager插槽号)是1)并在纱上运行flink应用程序,则应用程序将失败。

Ps:在同一个表上执行的所有sql,或者换句话说,它们共享相同的源。

是否有人也遇到过相同的问题?我怎么能绕它走?

下面是错误日志:

  

由以下原因引起:org.apache.flink.runtime.client.JobExecutionException:作业执行失败。           在org.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:146)           在org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.java:265)           ...另外21个   原因:org.apache.flink.util.FlinkException:已删除分配的插槽容器_1564803877349_0254_01_000002_0。           在org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.removeSlot(SlotManager.java:893)           在org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.removeSlots(SlotManager.java:863)           在org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.internalUnregisterTaskManager(SlotManager.java:1058)           在org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.unregisterTaskManager(SlotManager.java:385)           在org.apache.flink.runtime.resourcemanager.ResourceManager.closeTaskManagerConnection(ResourceManager.java:825)

0 个答案:

没有答案