集成Django和Scrapy的最佳方法

Question

我知道一些类似scrapy-djangoitem的方式，但正如它已经提到的那样：

  

DjangoItem是将Scrapy项目与Django模型集成的一种相当方便的方法，但是请记住，如果使用Scrapy刮除很多项目（即数百万个），则Django ORM可能无法很好地扩展。这是因为对于写密集型应用程序（例如Web爬网程序）而言，关系后端通常不是一个好的选择，尤其是在数据库高度规范化且具有很多索引的情况下。

那么在db和django模型中使用剪贴项的最佳方法是什么？

Answer 1

这与Django ORM无关，而与您选择作为后端的数据库有关。它的意思是，如果您希望将数百万个项目写入表中，那么关系数据库系统可能不是您的最佳选择（MySQL，Postgres ...），并且如果添加很多，则性能可能会更差indicies，因为您的应用程序是大量写入操作（数据库必须更新B树或其他结构以在每次写入时保持索引）。

如果您开始在数据库级别遇到性能问题，我建议暂时使用Postgres或MySQL，并寻求其他解决方案。