Question

我有一个计划成为Cron Job的Scrapy Spider。我正在使用-o选项，以便将数据写入csv文件。

scrapy crawl my_spider -o my_csv.csv

我正在使用Crawlera，但是没有请求。我试图关闭我的Spider，并将输出写入csv。 Scrapy尚未将输出写入csv，我担心如果我终止该进程，则数据将丢失。

是否有一种方法可以正常关闭作为cron作业运行的蜘蛛，而不必等待爬网“完成”？

Answer 1

首先，恐怕您的scraper根本没有运行，否则您会在输出CSV中看到一些数据，因为scrapy在CSV中同时写入数据，而不是在scrapy过程完成时。

无论如何，如果正在运行，请阅读以下内容。

运行ps -aux | grep scrapy并找到刮擦过程的PID

仅发送kill PID仅一次，它将正常关闭

注意：

请不要多次发送kill PID，否则您的进程将被杀，而不会完成剩余的请求