泰坦与dynamodb

时间:2015-12-08 13:25:38

标签: amazon-web-services titan

我正在尝试使用dynamodb将社交网络朋友列表数据上传到titan。数据集来自https://archive.org/download/friendster-dataset-201107,其中包含https://archive.org/details/friendster-dataset-201107中讨论的数据集的详细信息。我是该领域的新手,需要有关选择快速上传数据的最佳策略的建议。

1 个答案:

答案 0 :(得分:0)

您可以编写自己的解析器来读取文件。 以下是我为类似项目所做的工作。一切都是用Java完成的。 我们在json格式中有数百万个顶点,在文件中每行有一个json。

第一步是创建顶点标签和属性键及其显式类型。 然后在所需属性上创建索引。

然后我们一次读取一行并创建顶点。 例如,我们提交了每5000个顶点。

另请参阅批量加载。 http://s3.thinkaurelius.com/docs/titan/1.0.0/bulk-loading.html