在apache spark中将部分数据从一个分区复制到另一个分区

时间:2015-11-25 16:43:09

标签: apache-spark apache-spark-1.5

我有一个用例,我开始根据密钥对数据进行分区。 属于密钥的所有数据都保留在一个分区上。 e.g。

Key1 - >分区1 Key2 - >分区2

现在有一段时间后,我可能需要合并key1和key2。于是 我只想将所有数据从key2传输到key1,即从partition2传输到partition1。是否有可能在apache火花?我不想重新分配所有内容,因为这对我来说代价很高。

0 个答案:

没有答案