Question

我正在编写一个抓取工具，使用urllib下载静态html页面。

get_page函数可以工作1个周期但是当我尝试循环它时，它不会打开内容到我已经输入的下一个URL。

如何让urllib.urlopen不断下载HTML页面？
如果不可能，是否有其他建议下载我的python代码中的网页？

下面的代码只返回seed列表中第一个网站的html：

import urllib
def get_page(url):
    return urllib.urlopen(url).read().decode('utf8')

seed = ['http://www.pmo.gov.sg/content/pmosite/home.html', 
            'http://www.pmo.gov.sg/content/pmosite/aboutpmo.html']    

for j in seed:
      print "here"
      print get_page(j)

urllib2：

也会出现同样的抓取“一次性”问题

import urllib2
def get_page(url):
    req = urllib2.Request(url)
    response = urllib2.urlopen(req)
    return response.read().decode('utf8')

seed = ['http://www.pmo.gov.sg/content/pmosite/home.html', 
            'http://www.pmo.gov.sg/content/pmosite/aboutpmo.html']    

for j in seed:
      print "here"
      print get_page(j)

没有例外，我正在使用urllib获取IOError：

Traceback (most recent call last):
  File "/home/alvas/workspace/SingCorp/sgcrawl.py", line 91, in <module>
    print get_page(j)
  File "/home/alvas/workspace/SingCorp/sgcrawl.py", line 4, in get_page
    return urllib.urlopen(url).read().decode('utf8')
  File "/usr/lib/python2.7/urllib.py", line 86, in urlopen
    return opener.open(url)
  File "/usr/lib/python2.7/urllib.py", line 207, in open
    return getattr(self, name)(url)
  File "/usr/lib/python2.7/urllib.py", line 462, in open_file
    return self.open_local_file(url)
  File "/usr/lib/python2.7/urllib.py", line 476, in open_local_file
    raise IOError(e.errno, e.strerror, e.filename)
IOError: [Errno 2] No such file or directory: 'http://www.pmo.gov.sg/content/pmosite/aboutpmo.html'

没有例外，我正在使用urllib2获得ValueError：

Traceback (most recent call last):
  File "/home/alvas/workspace/SingCorp/sgcrawl.py", line 95, in <module>
    print get_page(j)
  File "/home/alvas/workspace/SingCorp/sgcrawl.py", line 7, in get_page
    response = urllib2.urlopen(req)
  File "/usr/lib/python2.7/urllib2.py", line 126, in urlopen
    return _opener.open(url, data, timeout)
  File "/usr/lib/python2.7/urllib2.py", line 392, in open
    protocol = req.get_type()
  File "/usr/lib/python2.7/urllib2.py", line 254, in get_type
    raise ValueError, "unknown url type: %s" % self.__original
ValueError: unknown url type: http://www.pmo.gov.sg/content/pmosite/aboutpmo.html

ANSWERED：

发生IOError和ValueError是因为存在某种Unicode字节顺序标记（BOM）。在第二个URL中找到了非中断空格。感谢您在解决问题方面的所有帮助和建议!!

Answer 1

你的代码在.read().decode('utf8')上窒息。

但你不会看到，因为你只是吞咽异常。 urllib“不止一次”工作正常。

import urllib

def get_page(url):
    return urllib.urlopen(url).read()

seeds = ['http://www.pmo.gov.sg/content/pmosite/home.html', 
            'http://www.pmo.gov.sg/content/pmosite/aboutpmo.html']    

for seed in seeds:
      print 'here'
      print get_page(seed)

Answer 2

你的两个例子都适合我。我能想到的唯一解释是你的确切错误是第二个URL字符串包含某种不可打印的字符（可能是Unicode BOM），这些字符在粘贴代码时被过滤掉了。尝试将代码从此站点复制回您的文件，或从头开始重新输入整个第二个字符串。

为什么urllib.urlopen（）只能使用一次？ - Python

2 个答案: