我正在构建一个列出某些产品的门户网站，并自动从列出的供应商的产品页面中获取价格。要在供应商的网站上获取产品页面的URL，我一直在使用Google搜索API，它一直运行良好 - 第一个结果总是产品的页面。但是，现在我收到错误，说Google已经从API中阻止了我的网站（实际上是我的开发机器的IP），因为我一直在进行自动请求，例如抓取（唯一适用的项目）。
很好，谷歌可以跳下悬崖，但是......产品门户网站通常如何获取该产品的网址？我可以手动输入URL，但如果供应商的网站以某种方式更改URL方案，则可能会出现问题。我显然需要一种自动化的方法来实现这一目标。
我每天的请求数不超过50-60，所以我没有得到Google想要的。他们想要钱吗？
答案 0 :(得分：2)
首先，他们希望您使用其中一个API，而不是直接抓取他们的网页。他们的自定义搜索API已记录在案here。注册后，他们会给你一个API密钥。您可以通过请求
以JSON格式获得结果https://www.googleapis.com/customsearch/v1?q=SEARCH_TERMS&key=YOUR_KEY
其次，他们做就像金钱，但你可能没事。您每天可以免费进行100次搜索;除此之外，你将被收取每千次搜索5美元的费用。