Flink EMR计划失败

时间:2017-08-31 13:45:36

标签: apache-flink emr flink-streaming

我有,我会考虑一个相当简单的Flink程序。源自Kafka流,应用过滤器,应用过程功能,应用平面地图,并发送到Redis接收器。在我的开发箱上的独立环境中本地运行,没有问题。我试图在AWS EMR上将其推向生产,我按照指南在EMR上运行Flink程序。在我第一次测试后,我遇到了GC overhead limit exceeded错误,因此我进行了调整以减少存储的数据量。我的下一次尝试该程序运行的时间更长,但最终失败了,没有像以前那样给出任何类型的错误。

我不确定如何调试我怀疑可能是在EMR上运行的副作用的问题。据我所知,EMR控制台中的大多数监控指标都是无用的。如果重要的话,我将程序作为EMR中的一步运行,我所遵循的指南就在http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-flink.html。该程序也被认为是一个永远向上的解决方案,基本上它将不断读取Kafka Stream并处理数据(如果这很重要,不确定是否有一个不同的配置我应该用于一个永远的解决方案)

我很乐意提供帮助我将其投入生产所需的任何信息。

谢谢

0 个答案:

没有答案