Question

在YARN上使用直接kafka流时，我遇到了“许多活动作业”问题。（火花1.5，hadoop 2.6，CDH5.5.1）

当kafka几乎没有流量时就会出现问题。

从应用程序UI中，我看到许多“活动”作业会持续运行数小时。最后，驱动程序“请求4个新执行程序因为任务被积压”。

但是，在查看“活动”作业的驱动程序日志时，日志显示作业已完成。那么，为什么应用程序UI显示这个工作是永远的活动？

谢谢！

以下是有关“活动”作业之一的相关日志信息。有两个阶段：reduceByKey跟随flatmap。日志说两个阶段都在~20ms内完成，工作也在64 ms完成。

Got job 6567
Final stage: ResultStage 9851(foreachRDD at
Parents of final stage: List(ShuffleMapStage 9850)
Missing parents: List(ShuffleMapStage 9850)
…
Finished task 0.0 in stage 9850.0 (TID 29551) in 20 ms
Removed TaskSet 9850.0, whose tasks have all completed, from pool
ShuffleMapStage 9850 (flatMap at OpaTransLogAnalyzeWithShuffle.scala:83) finished in 0.022 s
…
Submitting ResultStage 9851 (ShuffledRDD[16419] at reduceByKey at OpaTransLogAnalyzeWithShuffle.scala:83), which is now runnable
…
ResultStage 9851 (foreachRDD at OpaTransLogAnalyzeWithShuffle.scala:84) finished in 0.023 s
Job 6567 finished: foreachRDD at OpaTransLogAnalyzeWithShuffle.scala:84, took 0.064372 s
Finished job streaming job 1468592373000 ms.1 from job set of time 1468592373000 ms

Answer 1

我面临类似的问题。 Myn是火花流媒体应用程序，我唯一的行动就是写入cassandra表。并且，由于某些ssl身份验证，此写入失败。理想情况下，它应该显示在Streaming中失败的批次，但它永远处于活动状态;在批处理中，作业成功完成，理想情况下应该标记为失败。

kafka火花流工作与许多活跃的工作

1 个答案: