我正在开发一个项目,其中将url放入名为UrlItems
的Django模型中。包含UrlItems
的models.py文件位于home
应用中。我在models.py文件所在的目录中键入scrapy startproject scraper
。请参阅this image以更好地了解我的Django项目结构。
我了解如何从我的刮刀中创建<strong>新 UrlItems
,但如果我的目标是获取并迭代我的Django项目现有 {{1}在我的蜘蛛的UrlItems
函数里面?
我尝试了什么:
1)我按照marked solution in this question尝试查看我创建的def start_requests(self)
是否已加载DjangoItem
。我试图在我的蜘蛛的UrlItem
函数中使用UrlItemDjangoItem.objects.all()
,并意识到我无法以这种方式检索我的Django项目start_requests
。
2)在我的蜘蛛中,我尝试导入UrlItem
这样的UrlItem
,我收到了此错误from ...models import UrlItem
。
更新
经过一些考虑后,我可能最终让Scrapy spider查询我的Django应用程序的API,以接收JSON中现有Django对象的列表。