Question

我正在尝试访问特定页面，我们将其称为convdict。使用http://example.com/puppers或标准scrapy shell模块直接连接（结果为scrapy.request）时，无法访问此页面。

但是，当我先使用<405> HTTP，然后再使用scrapy shell 'http://example.com/kittens'时，它可以工作，并且我得到fetch('http://example.com/puppers')代码。现在，我可以使用<200> OK HTTP提取数据了。

我尝试通过更改scrapy shell（使用url＃1），referer和其他一些（同时连接到 puppers （url ＃2）页面。我仍然收到<405>代码。

感谢所有帮助。谢谢。

Answer 1

start_urls = ['http://example.com/kittens']

def parse(self, response):

    yield scrapy.Request(

        url="http://example.com/puppers",
        callback=self.parse_puppers
    )

def parse_puppers(self, response):
    #process your puppers
    .....

Scrapy请求，蜘蛛中的Shell Fetch（）

1 个答案: