Question

我试图在pyspark中获取cassandra表的分区键的不同值。但是，pyspark似乎不了解我并完全迭代所有数据（这很多）而不是查询索引。

这是我使用的代码，对我来说非常简单：

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Spark! This town not big enough for the two of us.") \
    .getOrCreate()

ct = spark.read\
    .format("org.apache.spark.sql.cassandra")\
    .options(table="avt_sensor_data", keyspace="ipe_smart_meter")\
    .load()

all_sensors = ct.select("machine_name", "sensor_name")\
    .distinct() \
    .collect()

列＆＃34; machine_name＆＃34;和＆＃34; sensor_name＆＃34;一起形成分区键（完整架构见下文）。在我看来，这应该超级快，事实上，如果我在cql中执行这个查询只需要几秒钟：

select distinct machine_name,sensor_name from ipe_smart_meter.avt_sensor_data;

然而，火花工作大约需要10个小时才能完成。从Spark告诉我它的计划，看起来它真的想要迭代所有数据：

== Physical Plan ==
*HashAggregate(keys=[machine_name#0, sensor_name#1], functions=[], output=[machine_name#0, sensor_name#1])
+- Exchange hashpartitioning(machine_name#0, sensor_name#1, 200)
   +- *HashAggregate(keys=[machine_name#0, sensor_name#1], functions=[], output=[machine_name#0, sensor_name#1])
      +- *Scan org.apache.spark.sql.cassandra.CassandraSourceRelation@2ee2f21d [machine_name#0,sensor_name#1] ReadSchema: struct<machine_name:string,sensor_name:string>

我不是专家，但看起来不像＆＃34;使用cassandra索引＆＃34;对我来说。

我做错了什么？有没有办法告诉火花委托从cassandra获取不同价值的任务？任何帮助将不胜感激！

如果有帮助，这里是底层cassandra表的模式描述：

CREATE KEYSPACE ipe_smart_meter WITH replication = {'class': 'SimpleStrategy', 'replication_factor': '2'}  AND durable_writes = true;

CREATE TABLE ipe_smart_meter.avt_sensor_data (
    machine_name text,
    sensor_name text,
    ts timestamp,
    id bigint,
    value double,
    PRIMARY KEY ((machine_name, sensor_name), ts)
) WITH CLUSTERING ORDER BY (ts DESC)
    AND bloom_filter_fp_chance = 0.01
    AND caching = {'keys': 'ALL', 'rows_per_partition': 'NONE'}
    AND comment = '[PRODUCTION] Table for raw data from AVT smart meters.'
    AND compaction = {'class': 'org.apache.cassandra.db.compaction.DateTieredCompactionStrategy', 'max_threshold': '32', 'min_threshold': '4'}
    AND compression = {'chunk_length_in_kb': '64', 'class': 'org.apache.cassandra.io.compress.LZ4Compressor'}
    AND crc_check_chance = 1.0
    AND dclocal_read_repair_chance = 0.1
    AND default_time_to_live = 0
    AND gc_grace_seconds = 864000
    AND max_index_interval = 2048
    AND memtable_flush_period_in_ms = 0
    AND min_index_interval = 128
    AND read_repair_chance = 0.0
    AND speculative_retry = '99PERCENTILE';

Answer 1

似乎自动cassandra服务器端下推谓词仅在选择，过滤或订购时有效。

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/14_data_frames.md

因此，如果您的distinct()，则spark会获取所有行，然后distinct()。

解决方案1

你说你的cql select distinct...已经超级快了。我猜分区键的数量相对较少（machine_name和sensor_name的组合）和很多'ts'。

因此，最简单的解决方案就是使用cql（例如，cassandra-driver）。

解决方案2

由于cassandra是一个查询优先数据库，只需再创建一个表，该表只包含不同查询所需的分区键。

CREATE TABLE ipe_smart_meter.avt_sensor_name_machine_name (
    machine_name text,
    sensor_name text,
    PRIMARY KEY ((machine_name, sensor_name))
);

然后，每次在原始表中插入一行时，将machine_name和sensor_name插入新表中。由于它只有分区键，因此这是一个用于查询的自然不同表。只需获取所有行。也许超级快。无需独特的流程。

解决方案3

我认为解决方案-2是最好的。但是，如果您不想为一条记录执行两次插入，则还有一种解决方法是更改表并创建一个物化视图表。

CREATE TABLE ipe_smart_meter.ipe_smart_meter.avt_sensor_data (
    machine_name text,
    sensor_name text,
    ts timestamp,
    id bigint,
    value double,
    dist_hint_num smallint,
    PRIMARY KEY ((machine_name, sensor_name), ts)
) WITH CLUSTERING ORDER BY (ts DESC)
;

CREATE MATERIALIZED VIEW IF NOT EXISTS ipe_smart_meter.avt_sensor_data_mv AS
  SELECT
    machine_name
    ,sensor_name
    ,ts
    ,dist_hint_num
  FROM ipe_smart_meter.avt_sensor_data
  WHERE
    machine_name IS NOT NULL
    AND sensor_name IS NOT NULL
    AND ts IS NOT NULL
    AND dist_hint_num IS NOT NULL
  PRIMARY KEY ((dist_hint_num), machine_name, sensor_name, ts)
  WITH
  AND CLUSTERING ORDER BY (machine_name ASC, sensor_name DESC, ts DESC)
;

dist_hint_num列用于限制查询的分区总数，以便迭代和分发记录。

例如，从0到15.随机整数random.randint(0, 15)或基于散列的整数hash_func(machine_name + sensor_name) % 16都可以。然后，当您查询如下。 cassandra只从16个分区中获取所有记录，这可能比您当前的情况更有效。

但是，无论如何，必须阅读所有记录然后distinct()（洗牌发生）。不节省空间。我认为这不是一个好的解决方案。

functools.reduce(
    lambda df, dist_hint_num: df.union(
        other=spark_session.read.format(
            'org.apache.spark.sql.cassandra',
        ).options(
            keyspace='ipe_smart_meter',
            table='avt_sensor_data_mv',
        ).load().filter(
            col('dist_hint_num') == expr(
                f'CAST({dist_hint_num} AS SMALLINT)'
            )
        ).select(
            col('machine_name'),
            col('sensor_name'),
        ),
    ),
    range(0, 16),
    spark_session.createDataFrame(
        data=(),
        schema=StructType(
            fields=(
                StructField(
                    name='machine_name',
                    dataType=StringType(),
                    nullable=False,
                ),
                StructField(
                    name='sensor_name',
                    dataType=StringType(),
                    nullable=False,
                ),
            ),
        ),
    ),
).distinct().persist().alias(
    'df_all_machine_sensor',
)

PySpark + Cassandra：获取分区键

1 个答案:

解决方案1

解决方案2

解决方案3

PySpark + Cassandra：获取分区键

1 个答案:

解决方案1 ​​

解决方案2

解决方案3

解决方案1