标签： python-3.x scrapy frontera
我已经阅读了scrapy和frontera文档。我有50个用于不同网站的蜘蛛，使用“ scrapy runtimepider python_file.py”运行。 现在，我想控制或监视所有蜘蛛，并记录爬网，并避免重新爬网我已经爬过的现有URL。 还有其他方法可以完成此任务。
创建了一个新项目并尝试记录抓取，并显示错误，例如未导入图形