Question

我是Python新手，我正在尝试使用scrapy下载并保存此网站中的pdf文件： http://www.legco.gov.hk/general/chinese/counmtg/yr04-08/mtg_0708.htm#hansard

以下是我的代码：

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector


class legco(BaseSpider):
  name = "legco"
  allowed_domains = ["http://www.legco.gov.hk/"]
  start_urls = ["http://www.legco.gov.hk/general/chinese/counmtg/yr04-08/mtg_0708.htm#hansard"]
  rules =(
    Rule(SgmlLinkExtractor(allow=r"\.pdf"), callback="save_pdf")
          )

def parse_listing(self, response):
    hxs = HtmlXPathSelector(response)
    pdf_urls=hxs.select("a/@href").extract()
    for url in pdf_urls:
        yield Request(url, callback=self.save_pdf)

def save_pdf(self, response):
    path = self.get_path(response.url)
    with open(path, "wb") as f:
        f.write(response.body)

基本上我试图将搜索限制为仅与“.pdf”链接，然后选择“a / @ hfref”。

从输出中，我看到了这个错误：

2015-03-09 11：00：22-0700 [legco]错误：蜘蛛错误处理http://www.legco.gov.hk/general/chinese/counmtg/yr04-08/mtg_0708.htm#hansard> ;

有人可以建议我如何修复我的代码？非常感谢！

Answer 1

首先，如果希望CrawlSpider能够使用，则需要使用rules 。此外，rules应该被定义为可迭代的，通常它是一个元组（缺少逗号）。

无论如何，我不是采用这种方法，而是使用正常的BaseSpider循环链接并检查href以.pdf结尾，然后在回调中保存pdf到文件：

import urlparse

from scrapy.http import Request
from scrapy.spider import BaseSpider


class legco(BaseSpider):
    name = "legco"

    allowed_domains = ["www.legco.gov.hk"]
    start_urls = ["http://www.legco.gov.hk/general/chinese/counmtg/yr04-08/mtg_0708.htm#hansard"]

    def parse(self, response):
        base_url = 'http://www.legco.gov.hk/general/chinese/counmtg/yr04-08/'
        for a in response.xpath('//a[@href]/@href'):
            link = a.extract()
            if link.endswith('.pdf'):
                link = urlparse.urljoin(base_url, link)
                yield Request(link, callback=self.save_pdf)

    def save_pdf(self, response):
        path = response.url.split('/')[-1]
        with open(path, 'wb') as f:
            f.write(response.body)

（为我工作）

使用scrapy按扩展名类型保存网页上的文件

1 个答案: