为规范化的postgresql数据库准备scrapy数据

时间:2017-09-28 17:05:44

标签: python sql database postgresql pandas

我已经构建了一个postgresql数据模型来存储足球结果。所以我有下面的表用外键链接它们。

国家/地区表: 编号,国家

俱乐部桌: ID,id_country,俱乐部

匹配表: gamedate,id_club_home,id_club_away,home_score,away_score

现在我将我的数据删除到pandas数据框中,但是包含以下字段:

gamedate,国家,home_club,away_club,home_score,away_score

所以我想在3个表格中插入这些数据,检查国家和俱乐部是否已经存在于数据库中,如果没有将它们添加到相应的表格中,然后用ids替换所有文本字段并插入匹配数据

这是最好的方法是在python中加载country和club表并使用pandas / python转换数据,还是有更好/更有效的方法。我希望构建这种可扩展性能够快速加载大型数据集以便为将来的项目进行学习。

0 个答案:

没有答案