从/192.168.2.13:46500断开连接后,仍有1个请求未完成

时间:2019-08-21 08:41:06

标签: apache-spark

我从df创建了两个临时视图:一个来自mongo,另一个来自hive。 然后,我将这两个表放在单个键上,最后插入到蜂巢中。

结果确实已成功插入到配置单元中,但是日志中有一些例外情况:

  

19/08/21 16:30:35错误client.TransportResponseHandler:仍然有1   当/192.168.2.13:46508的连接为   封闭

     

19/08/21 16:30:35错误client.TransportResponseHandler:仍然有1   当/192.168.2.13:46498的连接是   已关闭19/08/21 16:30:35信息存储.BlockManagerInfo:已删除   内存中s2:44369上的broadcast_8_piece0(大小:650.0 KB,可用:5.2   GB)

     

19/08/21 16:30:35警告存储。BlockManagerMaster:无法删除   使用removeFromMaster = true广播8-来自的连接   /192.168.2.13:46508关闭的java.io.IOException:连接来自   /192.168.2.13:46508关闭

1 个答案:

答案 0 :(得分:0)

在我的情况下,我通过将配置中的超时“ spark.network.timeout”增加到50000s(从我的头开始算起)来解决了这个问题。