使用Scrapy DjangoItem与Django最佳方式

Question

我是Django / Scrapy的新手以及一般的编程。我正在尝试创建一个Django网站来帮助我学习。

我想要做的是从不同网站抓取产品信息，并使用Scrapy的DjangoItem将它们存储在我的postgres数据库中。

我已经阅读了Scrapy和Django的所有文档。我已经在这里和其他网站搜索了几天，但是找不到我正在寻找的那个让灯泡熄灭的东西。

无论如何，我的问题是，将Scrapy和Django一起部署的标准是什么。理想情况下，我想刮掉5-10个不同的网站并将其信息存储在我的数据库中。

Scrapy的文档对于实现DjangoItem的最佳方式的信息略显不足 1）Scrapy项目应该在我的Django应用程序中，在我的Django项目的根级别还是在所有的外部。 2）除了将DjangoItem设置为我的Django模型之外，我是否需要更改任何其他设置？

由于 布赖恩

Answer 1

我通常将我的scrapy项目放在我的Django项目根文件夹中。请记住，您需要确保两个项目都在python路径中。如果您正确使用virtualenv，这很容易做到。

除此之外，只要您可以从Scrapy导入Django模型，我认为Scrapy文档中的所有其他内容都非常清晰。当您导入Django模型时，Django设置就在那时设置，这意味着只要它们已经在Django中工作，您的数据库连接等都应该正常工作。

唯一真正的诀窍是正确设置python路径（这可能是另一个问题的主题）。