以GraphSON格式保存巨大的图形数据库时出错

时间:2015-01-27 08:42:44

标签: cassandra titan gremlin

我正致力于以扩展的GraphSON格式将大约8000万个节点和1.2亿个边缘(存储在3个Cassandra机器中)保存到本地文件系统。但是,一旦文件达到28 GB,gremlin shell将始终崩溃,并出现此错误:

  java.lang.IllegalStateException: Could not find type for id: 322
    at com.google.common.base.Preconditions.checkState(Preconditions.java:176)
    at com.thinkaurelius.titan.graphdb.types.vertices.TitanTypeVertex.getName(TitanTypeVertex.java:30)
    at com.thinkaurelius.titan.graphdb.transaction.StandardTitanTx$VertexConstructor.get(StandardTitanTx.java:321)
    at com.thinkaurelius.titan.graphdb.transaction.StandardTitanTx$VertexConstructor.get(StandardTitanTx.java:291)
    at com.thinkaurelius.titan.graphdb.transaction.vertexcache.GuavaVertexCa

注意:保存为GraphSON格式的目的是将其移植到Titan的0.5版本。基于我之前发布的这个问题What are the methods to migrate millions of nodes and edges from 0.44 to 0.5?,我已经尝试使用Faunus将其移至HDFS,但它并没有成功。

用于保存GraphSON文件的方法是:使用以下参数加载图形后的saveGraphSON:

storage.backend=cassandra
storage.hostname=sve1,sve2,sve3
storage.port=9160
storage.batch-loading=true
storage.buffer-size=8196
storage.keyspace=dbgraph
ids.block-size=50000
cache.db-cache=true
cache.db-cache-size=0.5

请您提供将图表成功保存为GraphSON格式的建议。

0 个答案:

没有答案