每隔2小时就会杀死Spark Streaming

Question

当我检查工作日志并发现以下错误时，每隔2小时就会使用任何日志终止Spark Streaming应用程序：

14/11/15 13:53:24 INFO network.ConnectionManager: Removing ReceivingConnection to ConnectionManagerId(ip-xxxxxxxxx,38863)
14/11/15 13:53:24 INFO network.ConnectionManager: Removing SendingConnection to ConnectionManagerId(ip-xxxxxxxxx,38863)
14/11/15 13:53:24 ERROR network.SendingConnection: Exception while reading SendingConnection to ConnectionManagerI

我还将spark.cleaner.ttl值设置为10分钟，但没有运气。

Answer 1

也许流接收器已停止。 你在代码中使用这样的东西吗？     streamContext.stop（true，true）;

如果流接收器停止并且您正在收听接收器，那么上下文也将停止。