标签： django web-scraping apscheduler project-structure
我正在构建一个带有网页的 django 项目，用户可以在其中搜索文档。我使用 webscraper 来检索文档并将它们存储在数据库中。刮擦应每两小时运行一次，大约需要 5 分钟。我使用了 apscheduler 并在我的 django 项目中创建了一个 scraping_app。但是在抓取时，我无法从网页上进行任何搜索调用。如何确保抓取不会停止网页？
由于我是 Web 开发的新手，我想知道最佳实践是什么。我应该让抓取完全独立于网页项目并且只共享相同的数据库吗？还是将两者集成到同一个项目中？