标签: python scrapy
我正在写一个蜘蛛,它会覆盖start_requests函数来触发请求。 我的目标是触发X请求并等待它们完成,然后再触发X请求,直到不需要请求为止。
您如何建议我实现这样的目标?
我的想法是在start_requests中使用一个循环来读取来自DB的X请求 然后使用yield来触发请求,直到DB中没有请求为止。
它会起作用吗?