泰坦的“超级节目”

时间:2012-10-30 05:45:32

标签: groovy cassandra graph-databases titan

我正在开发一个可以很好地处理图形数据库(Titan)的应用程序,除了它有很多边缘的顶点问题,例如supernodes

上面的超级节点链接指向Titan作者的博客文章,解释了解决问题的方法。解决方案似乎是通过边缘过滤来减少顶点的数量。

不幸的是我想要groupCount边或顶点的属性。例如,我有100万用户,每个用户属于一个国家。如何快速groupCount计算每个国家/地区的用户数量?

到目前为止我所尝试的内容可以在这个精心制作的groovy脚本中显示出来:

g = TitanFactory.open('titan.properties')  // Cassandra
r = new Random(100)
people = 1e6

def newKey(g, name, type) {
    return g
        .makeType()
        .name(name)
        .simple()
        .functional()
        .indexed()
        .dataType(type)
        .makePropertyKey()
}

def newLabel(g, name, key) {
    return g
        .makeType()
        .name(name)
        .primaryKey(key)
        .makeEdgeLabel()
}

country = newKey(g, 'country', String.class)
newLabel(g, 'lives', country)

g.stopTransaction(SUCCESS)

root = g.addVertex()
countries = ['AU', 'US', 'CN', 'NZ', 'UK', 'PL', 'RU', 'NL', 'FR', 'SP', 'IT']

(1..people).each {
    country = countries[(r.nextFloat() * countries.size()).toInteger()]
    g.startTransaction()
    person = g.addVertex([name: 'John the #' + it])
    g.addEdge(g.getVertex(root.id), person, 'lives', [country: country])
    g.stopTransaction(SUCCESS)
}

t0 = new Date().time

m = [:]    
root = g.getVertex(root.id)
root.outE('lives').country.groupCount(m).iterate()

t1 = new Date().time

println "groupCount seconds: " + ((t1 - t0) / 1000)

基本上一个根节点(为了Titan没有“全部”节点查找),通过具有person属性的边缘链接到许多country。当我在100万个顶点上运行groupCount()时,它需要一分钟。

我意识到Titan可能会在每个边缘迭代并收集计数,但是有没有办法让这个在Titan或任何其他图形数据库中运行得更快?索引本身可以计算,所以它不必遍历?我的索引是否正确?

1 个答案:

答案 0 :(得分:8)

如果您为'生活'标签创建'{3}}'国家',那么您可以更快地检索特定国家/地区的所有人。但是,在您的情况下,您对组计数感兴趣,该组计数需要检索该根节点的所有边缘,以便对它们进行迭代并对这些国家进行挖掘。

因此,此分析查询更适合图形分析框架primary key。它不需要根顶点,因为它通过完整的数据库扫描执行groupcount,从而避免了超级节点问题。 Faunus还使用Gremlin作为查询语言,因此您只需稍微修改一下您的查询:

g.V.country.groupCount.cap...

HTH, 的Matthias