我有一个Spark Streaming应用程序,它每秒接收几条JSON消息,每个消息都有一个ID来识别它们的来源。
使用此ID作为键,我能够执行MapPartitionsToPair
,从而创建一个JavaPairDStream,其中包含键/值对的RDD,每个分区一个键值对(因此,如果我收到5个JSON消息)例如,我得到一个带有5个分区的RDD,每个分区都将消息的ID作为密钥,并将JSON消息本身作为值。)
我现在要做的是,我想将具有相同密钥的所有值分组到同一分区中。因此,例如,如果我有3个带有键'a'的分区和2个带有键'b'的分区,我想创建一个带有2个分区而不是5个分区的新RDD,每个分区包含一个键所具有的所有值,一个用于'a'和一个'b'。
我怎样才能做到这一点? 到目前为止,这是我的代码:
JavaReceiverInputDStream<String> streamData2 = ssc.socketTextStream(args[0], Integer.parseInt(args[1]),
StorageLevels.MEMORY_AND_DISK_SER);
JavaPairDStream<String,String> streamGiveKey= streamData2.mapPartitionsToPair(new PairFlatMapFunction<Iterator<String>, String, String>() {
@Override
public Iterable<Tuple2<String, String>> call(Iterator<String> stringIterator) throws Exception {
ArrayList<Tuple2<String,String>>a= new ArrayList<Tuple2<String, String>>();
while (stringIterator.hasNext()){
String c=stringIterator.next();
if(c==null){
return null;
}
JsonMessage retMap = new Gson().fromJson(c,JsonMessage.class);
String key= retMap.getSid();
Tuple2<String,String> b= new Tuple2<String,String>(key,c);
a.add(b);
System.out.print(b._1+"_"+b._2);
// }
//break;
}
return a;
}
});
//我创建了一个JavaPairDStream,其中每个分区都包含一个键/值对。
我尝试使用grouByKey()
,但无论消息的数量是多少,我的分区号都是2。
我该怎么做? 非常感谢你。
答案 0 :(得分:5)
您可以使用
groupByKey(Integer numPartitions)
并将numPartitions
设置为等于您拥有的不同键的数量。
但是......你需要预先知道 你有多少个不同的密钥 。你有那些信息吗?可能不是。那么......你需要做一些额外的(/冗余的)工作。例如。使用
countByKey
作为第一步。这比groupByKey快 - 所以至少你没有加倍总处理时间。
更新 OP询问他们默认为什么会获得2个分区。
默认groupByKey
使用defaultPartitioner()
方法
groupByKey(defaultPartitioner(self))
Partitioner
。 - 或者它将使用spark.default.parallelism