报废工作没有完成

Question

我使用了scrapyd run scrapy的工作 并且127.0.0.1:6800显示作业已完成 但我打开日志，它没有错误信息或完成这样的信息

{'downloader/request_bytes': 1685,
 'downloader/request_count': 4,
 'downloader/request_method_count/GET': 4,
 'downloader/response_bytes': 172338,
 'downloader/response_count': 4,
 'downloader/response_status_count/200': 4,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2015, 1, 7, 0, 7, 32, 480907),
 'log_count/DEBUG': 6,
 'log_count/INFO': 83,
 'request_depth_max': 1,
 'response_received_count': 4,
 'scheduler/dequeued': 4,
 'scheduler/dequeued/memory': 4,
 'scheduler/enqueued': 4,
 'scheduler/enqueued/memory': 4,
 'start_time': datetime.datetime(2015, 1, 7, 0, 6, 32, 32624)} 

这只蜘蛛必须爬行4000个链接，但似乎它停在329链接上 这会怎么样？

这是我的start_urls
我从数据库中选择了链接（有4000个链接）：

def start_requests(self):
    obj = MTheater.objects.filter(country='US')
    for i in obj:
        link =  i.link
        yield Request(url=link, callback=self.parse)

请给我一些指示，非常感谢你。