Question

我希望Scrapy蜘蛛无需先发出请求就生产物品。我需要以下功能，但没有对example.com的请求。

class TestSpider:
    name = "test"

    def __init__(self, item, *args, **kwargs):
        self.item = item

    def start_requests(self):
        yield scrapy.Request('https://example.com/', callback=self.parse)

    def parse(self, response):
        yield self.item

我尝试直接从start_requests产生项目，但是Scrapy expects it to return可以迭代scrapy.Request个对象。

直接从构造函数中获取数据当然也不起作用，因为构造函数必须返回None。

Answer 1

这是旧文章，但我还是留下我的答案，希望它能对某人有所帮助！通过伪造响应来起作用。

git merge random_branch

不需要Scrapy Spider的产量项目

1 个答案: