Question

在蜘蛛可以正确工作的前提下，解析函数是正常的，但是我发现当响应状态代码为200时，一小撮响应主体随机为null，例如十分之二为body-null。同时，我使用Chrome浏览器检查此请求网址，并确保打开的页面良好。另外，我很确定自己的IP没有被禁止，一切看起来都很正常。

这里是设置：

BOT_NAME = 'CategorySpider'
SPIDER_MODULES = ['CategorySpider.spiders']
NEWSPIDER_MODULE = 'CategorySpider.spiders'
ROBOTSTXT_OBEY = False
SPIDER_MIDDLEWARES = {
    'CategorySpider.middlewares.NodeMiddlewares': 100,
    'CategorySpider.middlewares.CategoryspiderSpiderMiddleware': 543,

}

'DEFAULT_REQUEST_HEADERS': {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
            "accept-encoding": "gzip, deflate, sdch, br",
            "accept-language": "zh-CN,zh;q=0.8",
            "upgrade-insecure-requests": 1,

        },

AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_MAX_DELAY = 60

有人帮助我吗？非常感谢

Scrapy响应代码为200，但响应正文为空/ null

0 个答案: