从Scrapy spider中读取现有的Django模型

时间:2016-12-07 02:32:12

标签: django django-models scrapy scrapy-spider scrapy-pipeline

我正在开发一个项目,其中将url放入名为UrlItems的Django模型中。包含UrlItems的models.py文件位于home应用中。我在models.py文件所在的目录中键入scrapy startproject scraper。请参阅this image以更好地了解我的Django项目结构。

我了解如何从我的刮刀中创建<​​strong>新 UrlItems,但如果我的目标是获取并迭代我的Django项目现有 {{1}在我的蜘蛛的UrlItems函数里面?

我尝试了什么:

1)我按照marked solution in this question尝试查看我创建的def start_requests(self)是否已加载DjangoItem。我试图在我的蜘蛛的UrlItem函数中使用UrlItemDjangoItem.objects.all(),并意识到我无法以这种方式检索我的Django项目start_requests

2)在我的蜘蛛中,我尝试导入UrlItem这样的UrlItem,我收到了此错误from ...models import UrlItem

更新

经过一些考虑后,我可能最终让Scrapy spider查询我的Django应用程序的API,以接收JSON中现有Django对象的列表。

0 个答案:

没有答案