适用于社交网络的数据结构

时间:2015-05-14 12:26:01

标签: python database graph

对于大学项目,我目前正在抓取一些社交网络,然后对数据集进行一些数据分析。

现在我的爬虫工作(或多或少),我想知道存储数据的最佳方法是什么。我正在从个人资料以及整个网络图中抓取个人信息,以便能够执行网络分析。

首先我想我可以将数据保存在常规数据库中。但是,由于我必须保存每个配置文件的朋友,并且朋友的数量从几个朋友到5,000不等,我想到使用ORM(例如SQLAlchemy)将所有内容保存在数据库中,这将导致两者之间的冗余连接虽然简介。另一个想法是将常规简档数据(兴趣,朋友数量,城市,年龄等)保存在常规数据库中,并将网络图保存在单独的数据结构中,例如,在NetworkX图表中,或仅使用网络图数据库来处理所有事情。

我应该使用哪种数据库来抓取社交网络?有没有标准的方法来保存这些数据?

0 个答案:

没有答案