我想抓取大约2000个查询的200个结果,但它给了我超过"每日限制"错误。
我想确认每天可以抓取多少结果。有没有解决方案可以解决这个问题?或者唯一的方法是每天抓取一小部分查询......?
我抓取谷歌的代码如下:
def crawl(query_list):
http = httplib2.Http()
# Construct the service object for the interacting with the CustomSearch API.
service = discovery.build('customsearch', 'v1', developerKey='my api key', http=http)
res_list = []
for query in query_list:
json_res = service.cse().list(q = query, cx = 'my search engine id', num = 200,).execute()
res_list.append(json_res)
谢谢!
答案 0 :(得分:16)
根据post:
每天前100个查询是免费的。不管怎样,你必须付钱 每1000次查询5美元,每天最多10,000次查询,只需启用即可 计费这样做。每个查询最多返回10个结果,所以你 可以每天免费从您的搜索中检索1000个网址。