我们有Cassandra集群,我正在编写pyspark代码以将数据从Cassandra提取到Spark集群,我检查了(解释计划)谓词下推效果很好,但是在spark应用UI中,输入字节和输出字节非常高(您可以签入图片)。
我正在使用“ spark-cassandra-connector_2.11-2.3.2”并触发2.3.0
一段时间后我遇到错误:
com.datastax.driver.core.exceptions.ReadFailureException:一致性LOCAL_ONE的读取查询期间Cassandra失败(需要1个响应,但仅响应0个副本,失败1个)
无法理解正在发生的事情。
说明计划:
扫描org.apache.spark.sql.cassandra.CassandraSourceRelation@4e037cc6 [creation_date#0,activity_type#1,component#2,source#3,creation_time#4,additional_data#5,email_id#6,mobile#7, page_title#8,page_url#9,platform#10,ram_id#11,referrer#12,user_id#13] PushedFilters:[IsNotNull(creation_date),* EqualTo(creation_date,31-10-2018)],ReadSchema:...