我有一个用Django构建的应用程序。部分内容依赖于我从其他网站汇总的数据。想知道如何构建刮刀/聚合器。
我认为将其构建为Django应用程序的优势是
另一方面，我认为从长远来看，缺点是可扩展性。
我应该在我的Django项目中将刮刀/聚合器构建为应用程序，还是作为单独运行的脚本？
很想听听你的想法。
答案 0 :(得分：4)
您的任何一点都不需要它来运行within Django。由于它不依赖于Web / HTTP接口，因此将它作为一个单独的模块是唯一有意义的选择。
答案 1 :(得分：3)
我刚刚在GitHub上发布了一个Django app django-dynamic-scraper，它构建在抓取框架Scrapy之上，你可以在Django管理员中构建Scrapy scraper并使用Django用于存储已删除数据的模型类，这可能对有类似问题的人有用。
答案 2 :(得分：0)
如果它是django应用程序，它只会在有人加载页面时运行。这可能会减慢负荷。
制作另一个脚本可能是一个更好的想法，但可能会产生不准确的数据。
我认为这实际上取决于背景。