Spark结构化流查询正在挂起

时间:2020-07-29 08:57:50

标签: apache-spark apache-spark-sql spark-streaming spark-structured-streaming

在我的用例中,我正在使用Spark结构化流从kafka读取不同类型的指标(事件数据)。在我的情况下有多个接收器可用(phoenix,mysql,parquet)。对于每个数据集,我正在使用foreach函数来处理数据并将其存储在给定的接收器中。现在,这里的问题是一些任务保持运行更长的时间,直到被手动杀死(始终处于活动状态)。我已将推测标志设置为true作为间歇性解决方案,但我不确定此处是什么问题以及导致此问题的原因。我看到线程锁定并在线程转储中等待,但是在日志中没有看到任何错误。 enter image description here

0 个答案:

没有答案