如何更新或插入数据来激发RDD

Question

我在hbase中有一个拥有100,000个数据的实体，我将所有数据加载到下面的RDD中 JavaPairRDD rowPairRDD

在hbase中插入或更新一个数据时。我想相应地更新rowPairRDD。 有没有办法将数据插入rowPairRDD或更新RDD中的指定数据？感谢

Answer 1

RDD是不可变的。它们不是读/写数据结构。您可以从HBase重新创建RDD以获取新值。

Answer 2

您可以查看此项目：https://github.com/amplab/spark-indexedrdd。但是当hbase中的数据更改不可行时自动更新RDD（假设您的RDD已缓存）......您必须自己更新它。