如何在抓取网站时停止请求Google地理编码API

时间:2016-01-21 14:31:00

标签: google-geocoding-api

我使用的是Google地理编码API,截至目前网站的流量并不多,但超出了每天2500次请求的每日限额。 我查看并发现它超出了每日限额,因为该网站被各种网站/搜索引擎抓取,包括Google抓取。

在抓取网站时,有没有办法停止向Google API生成的请求?或者,如果网站被某些网站(包括Google)抓取,我们是否有办法停止执行代码?

1 个答案:

答案 0 :(得分:0)

好吧,我的代码是这样的:

def geocoding(address):
    print(address)
    time.sleep(0.2)
    g=geocoder.google(address)
    return g.latlng

def main():
    cases()
    for count in range(len(addresses)):
        code= geocoding(addresses[count])
        print code
        try:
            latitude.append(code[0])
             longitude.append(code[1])
        except:
            latitude.append("")
            longitude.append("")           
        writeExcel()

正如你所看到的,我做了一个循环 地址,latitute和longituitde是数组,写excels将数组放入excel

如果你创建一个支票,你可以通过休息停止循环:

def main():
    cases()
    for count in range(len(addresses)):
        code= geocoding(addresses[count])
        if code[0]=="":
           break
        print code
        try:
            latitude.append(code[0])
            longitude.append(code[1])
        except:
            latitude.append("")
            longitude.append("")           
        writeExcel()