如何通过Spark将数据加载到Titan中

时间:2016-05-04 06:30:41

标签: graph apache-spark titan gremlin-server

我想将数据加载到titanDB中,我知道有关批量加载和gremlin脚本会这样做,但我想使用spark做同样的事情。我有json格式的数据,我想用spark加载它。它们将火花与泰坦0.9和1.0.0中的泰坦融为一体。但是使用SparkGraphComputer我可以从泰坦读取数据,但我想与之相反,我想用火花将数据写入泰坦

参考 http://tinkerpop.apache.org/docs/3.1.0-incubating/#sparkgraphcomputer

https://groups.google.com/forum/#!topic/aureliusgraphs/DGwJnpdHPmU

1 个答案:

答案 0 :(得分:3)

您需要使用TinkerPop的BulkLoaderVertexProgram

monkey-patching

您可以在此Titan数据迁移示例存储库中查看其工作原理的一些示例:

http://s3.thinkaurelius.com/docs/titan/1.0.0/titan-hadoop-tp3.html

以及通过CSV加载数据的示例:

https://github.com/dkuppitz/openflights