我可以在Django类中使用Scrapy函数吗？

Question

我在Django建立了一个网站。我需要使用网络抓取功能。所以我安装了Scrapy。正如他们的教程中所述，Scrapy正在使用

scrapy startproject dmoz

但是这适用于带有自己文件的diff文件夹。

是否可以在Django类中使用Scrapy函数并将数据放入Django变量中？

Answer 1

抓取是一项漫长而耗时的任务。它与短的HTTP请求不能很好地混合。因此，您应该使用用户界面（可能是用Django编写）来启动Scrapy爬网，并使用共享存储来监控爬网状态。

但您不希望在HTTP请求的生命周期内进行爬网。这并不是Scrapy的用法。