Question

我正在Scrapy中构建一个Spider，它遵循它可以找到的所有链接，并将url发送到管道。目前，这是我的代码：

from scrapy import Spider
from scrapy.http import Request
from scrapy.http import TextResponse
from scrapy.selector import Selector
from scrapyTest.items import TestItem
import urlparse


class TestSpider(Spider):
name = 'TestSpider'
allowed_domains = ['pyzaist.com']
start_urls = ['http://pyzaist.com/drone']

def parse(self, response):
    item = TestItem()
    item["url"] = response.url
    yield item

    links = response.xpath("//a/@href").extract()
    for link in links:
        yield Request(urlparse.urljoin(response.url, link))

这可以完成工作，但只要响应只是一个Response而不是TextResponse或HtmlResponse，就会抛出错误。这是因为没有Response.xpath（）。我试着通过这样做来测试：

if type(response) is TextResponse:
    links = response.xpath("//a@href").extract()
    ...

但无济于事。当我这样做时，它永远不会进入if语句。我是Python新手，所以它可能是一种语言。我感谢任何帮助。

Answer 1

没关系，我找到了答案。 type()仅提供有关直接类型的信息。它没有说明继承。我在寻找isinstance()。此代码有效：

if isinstance(response, TextResponse):
    links = response.xpath("//a/@href").extract()
    ...

https://stackoverflow.com/a/2225066/1455074，靠近底部

在Scrapy中区分HTML和非HTML页面

1 个答案: