仅加载Unique Rows查询XML / JSON API

时间:2012-11-16 21:49:50

标签: php mysql xml json api

我正在尝试使用我创建的一些脚本来最小化加载时间。我通过开发人员的API资源或通过RSS提要连接到多个JSON或XML API,我正在尝试找到一种只将新行插入mysql数据库的方法。

我使用了INSERT IGNORE函数,它运行良好,但问题是它仍然加载所有不同的行,如果UNIQUE键是重复的,则忽略插入它。我想要做的是创建一个运行速度更快的脚本,如果它不同,它只会尝试插入一行。

我已经考虑过使用in_array()函数来查询数据库中的唯一键,但最终,在插入唯一键之前,数组将变得太大而无法处理(即1,000,000条记录)以查看它是否在数组中那些。

有更好的方法吗?通过对数据库中已有的记录使用WHERE子句,我已经在mysql中轻松完成了,但是从XML API中提取起来有点困难,我发现考虑到数据库将如何变得非常大。

0 个答案:

没有答案