使用Scrapy Python刮取慢速网页

Question

我正在使用Scrapy来删除网页。该页面有点慢。所以，首先它显示一个加载gif图标，然后加载整个页面。当我使用Scrapy时，它只是采用加载gif图标。我想等几秒钟，直到页面完全加载。

语言： - Python 2

代码： -

import scrapy
import time


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    download_delay = 15.0

    def start_requests(self):
        urls = [
            'exaple.com'
        ]
        time.sleep(1)
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

example.com是网页。每当我打开输出HTML文件时，它只显示加载图标。推荐的方法是什么？

我正在尝试使用time.sleep(1)，但输出相同。

我正在关注本教程： - https://doc.scrapy.org/en/latest/intro/tutorial.html