我有一个超过7500万行的RDD,当我在其上调用count
函数时,我每次都得到一个不同的数字。我的理解是计数应该给出确切的数字。
修改
只是想知道数据,结构是这样的
Userid: 1
Date: 8/15/2015
Location: Building 1
...
Date 8/1/2015
Location: Building 5
...
Userid: 2
Date: 7/30/2015
Location: Building 10
...
Date: 6/1/2015
Location: Building 3
...
分区键:Userid
群集密钥:Date
ORDER BY DESC
Spark版本:1.2.2
数据来自Cassandra
使用的API是Scala
Spark Cassandra连接器版本1.2.2
我刚刚阅读了Cassandra的数据,并使用map来获取Userid
和Location
。
答案 0 :(得分:1)
我使用了读一致性级别Local_One并使用Quorum一致性解决了这个问题。 根本问题是我们的一个节点的突变丢弃计数很高。