将Django Framework与网站和独立应用程序一起使用

Question

我打算为它编写一个Web爬虫和一个基于Web的前端（或者至少是它找到的信息）。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端（而不是让网络爬虫成为自己的“网站”）。

Answer 1

是的，您可以使用相同的数据库。

有些人在PHP应用程序之上使用Django来管理其管理功能，或者使用Django及其ORM构建更新的功能。

我想说的是，如果您将爬行数据放入Django存储数据的相同位置，只要为每个表创建Django模型，就可以访问它们。 / p>

但是，我不明白为什么爬虫不能在Django本身内编写。我在Django中编写了一些非基于Web的应用程序（爬虫和聚合器），它运行良好。

Answer 2

您可以在HTTP服务器之外使用Django ORM。

基本上你需要设置DJANGO_SETTINGS_MODULE环境变量。然后您可以导入并使用您的django代码。这是一个article on stand-alone Django scripts。

或者，您可以选择通过custom management commands与Django服务器进行交互。这将是一项更多的工作。但最终这种方法允许爬虫和控制器（Django项目）之间更大的解耦。