Question

我试图通过尽可能避免改组来优化我的火花工作。

我正在使用cassandraTable来创建RDD。

列族的列名是动态的，因此定义如下：

CREATE TABLE "Profile" (
  key text,
  column1 text,
  value blob,
  PRIMARY KEY (key, column1)
) WITH COMPACT STORAGE AND
  bloom_filter_fp_chance=0.010000 AND
  caching='ALL' AND
  ...

此定义以下列格式生成CassandraRow RDD元素：

CassandraRow <key, column1, value>

key - RowKey
column1 - column1的值是动态列的名称
value - 动态列的值

因此，如果我有RK =＆＃39; profile1＆＃39;，列名=＆＃39; George＆＃39;和年龄=＆＃39; 34＆＃39;，得到的RDD将是：

CassandraRow<key=profile1, column1=name, value=George>
CassandraRow<key=profile1, column1=age, value=34>

然后我需要将共享相同键的元素组合在一起以获得PairRdd：

PairRdd<String, Iterable<CassandraRow>>

重要的是，我需要分组的所有元素都在同一个Cassandra节点中（共享相同的行键），所以我希望连接器保持数据的位置。

问题是使用groupBy或groupByKey会导致混乱。我宁愿在本地对它们进行分组，因为所有数据都在同一个节点上：

JavaPairRDD<String, Iterable<CassandraRow>> rdd = javaFunctions(context)
        .cassandraTable(ks, "Profile")
        .groupBy(new Function<ColumnFamilyModel, String>() {
            @Override
            public String call(ColumnFamilyModel arg0) throws Exception {
                return arg0.getKey();
            }
        })

我的问题是：

在RDD上使用keyBy会导致混乱，还是会将数据保存在本地？
有没有办法按键对元素进行分组而不进行改组？我读过有关mapPartitions的内容，但并不十分了解它的用法。

谢谢，

晒

Answer 1

我认为您正在寻找spanByKey，这是一种cassandra-connector特定的操作，它利用cassandra提供的排序，允许对元素进行分组而不会产生洗牌阶段。

在您的情况下，它应该如下所示：

sc.cassandraTable("keyspace", "Profile")
  .keyBy(row => (row.getString("key")))
  .spanByKey

在文档中阅读更多内容：
https://github.com/datastax/spark-cassandra-connector/blob/master/doc/3_selection.md#grouping-rows-by-partition-key

Spark Cassandra Connector keyBy和shuffling

1 个答案: