我无法定义蜘蛛架构来填充从50个不同站点提取的数据来填充我的ITEM

时间:2018-07-03 00:47:58

标签: scrapy scrapy-spider

我考虑过使用50种不同的Parse函数创建一个蜘蛛。这将调用50个URL中的每个(来自实例变量),并定义每个URL使用哪个Parse函数。为此,我可以通过Meta属性共享ITEM。 (例如stackoverflow answer

但是我相信对于我的案例(50多个网址),它必须有一种更聪明的方式来生成异步请求,然后在通过管道保存之前填充我的项目。

0 个答案:

没有答案