PySpark和Cassandra:谓词下推,输入/输出字节有大量火花

时间:2018-11-21 13:40:00

标签: pyspark apache-spark-sql pyspark-sql spark-cassandra-connector

我们有Cassandra集群,我正在编写pyspark代码以将数据从Cassandra提取到Spark集群,我检查了(解释计划)谓词下推效果很好,但是在spark应用UI中,输入字节和输出字节非常高(您可以签入图片)。

我正在使用“ spark-cassandra-connector_2.11-2.3.2”并触发2.3.0

一段时间后我遇到错误

com.datastax.driver.core.exceptions.ReadFailureException:一致性LOCAL_ONE的读取查询期间Cassandra失败(需要1个响应,但仅响应0个副本,失败1个)

无法理解正在发生的事情。

说明计划:

扫描org.apache.spark.sql.cassandra.CassandraSourceRelation@4e037cc6 [creation_date#0,activity_type#1,component#2,source#3,creation_time#4,additional_data#5,email_id#6,mobile#7, page_title#8,page_url#9,platform#10,ram_id#11,referrer#12,user_id#13] PushedFilters:[IsNotNull(creation_date),* EqualTo(creation_date,31-10-2018)],ReadSchema:...

input and output bytes in spark UI

0 个答案:

没有答案