安排scrapy命令scrapy爬行

Question

我已经构建了一个抓取工具来抓取并提取与固定正则表达式匹配的链接。现在我想在Windows任务调度程序中安排任务，以便它使用命令行提示符scrapy crawl crawlername执行爬网程序。任何帮助都会有用吗？

Answer 1

您可以使用以下内容创建一个bat文件：

cd path_to_scrapy_project
scrapy crawl crawlername

然后使用Windows任务计划程序安排此脚本。

Answer 2

您可以创建一个run.py之类的文件

并使用多个蜘蛛将您的脚本像这样的示例放置：

import os
import logging

def crawl():
    os.system('scrapy crawl spider1')
    os.system('scrapy crawl spider2')
    os.system('scrapy crawl spider3')

schedule.every(5).minutes.do(crawl)
while True:
    schedule.run_pending()```