当火花1.6尝试从中读取时,cassandra下降

时间:2016-03-07 10:43:05

标签: apache-spark cassandra

我正在使用带有cassandra版Cassandra 2.1.8的spark 1.6。我有2个数据中心的设置,包括3台cassandra机器和2台火花工人机器。我正在运行spark 1.4,我的工作运行正常。它取自cassandra,处理它。

当我使用spark 1.6运行我的工作时,当作业尝试从cassandra读取时,cassandra中的服务器发生故障并且第24个任务中的火花驱动程序挂起,工作机器日志读取为未找到分区rdd_5_266,计算它

可能是什么问题?这是火花的问题吗?

此外,我也可以在工作日志中看到此消息 无法在60秒内获取通知锁定,忽略了loc1dc2node1 / 10.0.2.172的UP通知:9042

此外,我尝试启用调试日志并看到此消息 16/03/08 11:53:39 DEBUG TaskSchedulerImpl:parentName :, name:TaskSet_0,runningTasks:4

这条线一次又一次地打印

cassandra有数百万条记录

在spark中为其中一个执行程序添加日志 http://www.filedropper.com/stderr

让我在这里添加更多内容 1我根据添加时间过滤记录,这是群集密钥的一部分 2火花工作能够与火花1.4和cassandra conector 1.4一起运行良好 3我正在使用最新的spark 1.6和cassandra 1.5连接器

在cassandra连接器中是否有任何从1.4到1.5的变化以读取使节点崩溃的记录

0 个答案:

没有答案