Question

我正在构建一个网络抓取工具，可以扫描网站上的Twitter链接。我是美女汤的新手，我很难过。我已经尝试使用正则表达式来解析页面的整个HTML，但这不如美丽的汤。目前我的代码抓取一个网站并试图解析它的Twitter URL。

当然，我知道这并不总是有效，但是现在一切都以无方式返回，并且永远不会返回推特链接，但我知道网站包含它们。进一步有5个链接我通常也收到错误：

AttributeError: 'NoneType' object has no attribute 'group'

我已经专门测试过。我真的不认为这应该是这么难，但鉴于它已经存在，我认为我必须在美丽的汤中制造一个巨大的根本缺陷，我只是没有看到。有任何想法吗？

def twitter_grab(url):
    hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11', 
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
    'Accept-Encoding': 'none',
    'Accept-Language': 'en-US,en;q=0.8',
    'Connection': 'keep-alive'}
    req = urllib2.Request(url, headers=hdr)
    response = urllib2.urlopen(req)
    soup = BeautifulSoup(response, 'html.parser')
    links = soup.find_all('a' or 'li')
    for tag in links:
        link = tag.get('href', None)
        if link is not None:
            text = re.search(r'http://www\.twitter\.com/(\w+)', link)
            if text is not None:
                handle = text.group(0)
                print handle
                return(handle)

Answer 1

由于每个部分都是可访问的，因此您通常不需要美丽汤中的正则表达式，BS会将每个标记作为字典返回，以便您可以将这些参数作为键访问：

handles = [ a["href"] for a in soup.find_all("a", href=True) if("twitter" in a["href"])]

这将返回已经超链接的所有部分。如果某个网站出于某种原因未编写<a/>标记，则会遗漏它。

如何从大多数网站获取Twitter链接 - Python

1 个答案: