我从df创建了两个临时视图:一个来自mongo,另一个来自hive。 然后,我将这两个表放在单个键上,最后插入到蜂巢中。
结果确实已成功插入到配置单元中,但是日志中有一些例外情况:
19/08/21 16:30:35错误client.TransportResponseHandler:仍然有1 当/192.168.2.13:46508的连接为 封闭
19/08/21 16:30:35错误client.TransportResponseHandler:仍然有1 当/192.168.2.13:46498的连接是 已关闭19/08/21 16:30:35信息存储.BlockManagerInfo:已删除 内存中s2:44369上的broadcast_8_piece0(大小:650.0 KB,可用:5.2 GB)
19/08/21 16:30:35警告存储。BlockManagerMaster:无法删除 使用removeFromMaster = true广播8-来自的连接 /192.168.2.13:46508关闭的java.io.IOException:连接来自 /192.168.2.13:46508关闭
答案 0 :(得分:0)
在我的情况下,我通过将配置中的超时“ spark.network.timeout”增加到50000s(从我的头开始算起)来解决了这个问题。