Question

我尝试使用下面的python代码来查找公司的网站。但在尝试几次后，我面临服务不可用错误。

我已经完成了第一级查找公司可能的域名。例如：

CompanyExample [u'http://www.examples.com/'，u'https://www.example.com/quote/CGL:SP'，u'http://example2.sgx.com/FileOpen/China%20Great%20Land.ashx?App=Prospectus&FileID=3813'，u'https://www.example3.com/php/company-profile/SG/en_2036109.html']

from google import search
for link in links:
    parsed_uri = urlparse(link)
    domain = '{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri)
    for url in search(domain,stop = 4):
         print url

请帮助我：

为什么我突然发现 urllib2.HTTPError：HTTP错误503：服务不可用错误。
是否有其他方法（Python请求）来查找公司列表的网站？

Answer 1

对于非付费用户，Google API通常会受到限制。超过你的极限可能是导致503响应的原因。根据{{3}}，您每天可获得100次免费搜索，之后每1000次查询最多可获得5次查询：

自定义搜索引擎（免费）

对于CSE用户，API每天免费提供100个搜索查询。   如果您需要更多，可以在API控制台中注册结算。   额外请求每1000次查询需要花费5美元，每次查询最多10k次查询   一天。

Answer 2

您可以使用 "from urllib.parse import urlparse" 插入

<块引用>

#import urlparse #import urllib2

Python：查找公司列表的网站

2 个答案: