标签: scrapy scrapy-spider
我考虑过使用50种不同的Parse函数创建一个蜘蛛。这将调用50个URL中的每个(来自实例变量),并定义每个URL使用哪个Parse函数。为此,我可以通过Meta属性共享ITEM。 (例如stackoverflow answer)
但是我相信对于我的案例(50多个网址),它必须有一种更聪明的方式来生成异步请求,然后在通过管道保存之前填充我的项目。