运行执行API调用的最有效方法

时间:2016-04-27 22:01:15

标签: jquery python mysql api scripting

我对编程很陌生,并且必须搜索与此问题相关的大部分网页。我确信答案在某处,但我可能根本就没有使用正确的术语来找到它。尽管如此,我还是尽力而为,我完全陷入困境。我希望这里的人理解这种感觉,不介意帮助。

我目前正在开发一个数据驱动的网络应用程序,我正在与外包开发人员一起构建,同时还要了解有关编程的更多信息。我对它有一些生疏的知识,但我几年来一直从事以商业为导向的非技术角色,而且技术知识聚集了一些灰尘。

上述Web应用程序使用MySql数据库存储信息。在此MySql数据库中,当前有一个包含200,000个变量(公司名称)的表。我想通过第三方json RESTful API运行这些公司名称,以返回有关这些公司的一些其他数据。

这里有2个问题,我不希望直接回答。指出我正确的学习方向就足够了:

1。我将如何获取这些200,000个变量并执行一个脚本,该脚本会自动对API进行200,000次调用以获取我所追求的数据。如何将此数据保存到json或csv文件以导入MySql?我知道如何使用curl制作单个API请求,但是对我来说这样的自动大量请求是个谜。我不知道是否应该创建一个json文件或以某种方式排队请求,我迷路了。

2。上面提到的API限制为每5分钟perios 600次调用,如何引入某种控制系统,以便在达到API调用的最大量时,脚本暂停并且仅在指定的时间量过去时返回工作状态?什么语言最好与json RESTful API交互并编写问题1中描述的脚本?

感谢您的帮助。

1 个答案:

答案 0 :(得分:0)

你没有提到你正在使用的服务器端语言,但概念对所有人来说都是一样的 - 让你的查询得到你的200K变量,遍历结果集,对你的curl调用each,将结果存储在数组中,json在循环结束时对数组进行编码,然后将结果转储到文件中。至于每个时间段的请求限制,大多数语言都有某种暂停功能,在PHP中它是sleep()。如果所有其他方法都失败了,你可以在每个调用中放置一个不执行任何操作的循环(除了花费时间),以便在此过程中产生延迟。