Question

在raw_input：http://edition.cnn.com/

中使用此链接

import urllib
import re


CNN_Technology = (raw_input('Paste your link here: '))

urls = ["http://edition.cnn.com/"]
pattern = 'Entertainment</a><a class="nav-menu-links__link" href="//(.+?)data-analytics-header="main-menu_tech'
result = re.compile(pattern)

for url in urls:
    htmlsource = urllib.urlopen(url)
    htmltext = htmlsource.read()
    cnntech = re.findall(result, htmltext)
    print ""
    print "CNN Link:"
    print cnntech
    print ""

我希望新发现的链接money.cnn.com/technology/与cnntech相同，然后再扫描。

urls = ["cnntech"] 
pattern = 'Entertainment</a><a class="nav-menu-links__link" href="//(.+?)data-analytics-header="main-menu_tech'
result = re.compile(pattern)

for url in urls:
    htmlsource = urllib.urlopen(url)
    htmltext = htmlsource.read()
    cnntech2 = re.findall(result, htmltext)
    print "CNN Link:"
    print cnntech2
<code>

Answer 1

好吧，让我们想象一下，正则表达式是一种解析HTML的好方法。 所以我们处在一个科幻世界。

第一个脚本的输出如下所示：['money.cnn.com/technology/" ']

这是一个包含错误链接的列表：未指定http://协议，并且末尾有一个引号。 Urllib对此无能为力。

要做的第一件事就是修复你的正则表达式，以便获得最正确的URL：

pattern = 'Entertainment</a><a class="nav-menu-links__link" href="//(.+?)" data-analytics-header="main-menu_tech'

现在，将前缀“http：//”添加到cnntech列表中的所有网址：

urls = []
for links in cnntech:
    urls.append("http://" + links)

最后，您可以尝试脚本的第二部分：

pattern = YOURSECONDREGEGEX #I do not understand what you want to extract
result = re.compile(pattern)

for url in urls:
    html = urllib.urlopen(url).read()
    cnntech2 = re.findall(result, str(html))
    print "CNN Link:", cnntech2, "\ n"

现在，回到使用相同示例的现实世界，但这次使用 HTML解析器，如Pyquery。

import requests #better than urllib
from pyquery import PyQuery as pq

urls = ["http://edition.cnn.com/"]

for url in urls:
    response = requests.get(url)
    doc = pq(response.content)
    cnntech = doc('.m-footer__subtitles--money .m-footer__list-item:nth-child(3) .m-footer__link').attr('href')
    print("CNN Link: ", cnntech)

输出：

CNN Link:  http://money.cnn.com/technology/

奇怪的字符串'.m-footer__subtitles--money .m-footer__list-item:nth-child(3) .m-footer__link'是 CSS选择器。乍一看似乎比正则表达式更可怕，但它更简单。您可以使用Google Chrome浏览器Selector gadget等工具轻松找到它。

如何让urllib使用它找到的链接？

1 个答案: