我将如何利用Python在雅虎/谷歌财经上搜索代码行业呢？

Question

我正在尝试使用python获取代码的扇区分类。我该怎么去刮？

这是我设计的功能，但我想知道是否有更好的方法去做。

def get_sector(ticker):

    req=urllib2.Request('http://google.com/finance?q='+ str(ticker))
    response = urllib2.urlopen(req)
    the_page = response.read()
    output = re.search('Sector\: \<a id=sector href=\"(.*)\" \>(.*)\<\/a\>\&gt;', the_page, flags=re.IGNORECASE)

    if output != None:
        output = output.group(2)
        output= HTMLParser.HTMLParser().unescape(output)
        return output
    else:
        return 'Not Found'

当我尝试在Russell 3000中的代码列表中迭代时，我收到以下错误：

URLError：