在Django中向用户显示Scrapy结果

Question

我对Python非常陌生，我正在尝试将Scrapy与Django集成。

以下是我正在努力实现的目标：

1. 用户提交要删除的网址
2. 网址已被删除
3. 将屏幕上的数据返回给用户
4. 用户分配属性（如有必要），然后将其保存到数据库。

实现这一目标的最佳方法是什么？我玩过Django Dynamic Sc​​raper，但我认为我最好还是保持对Scrapy的控制权。

Answer 1

抓住django请求，同时抓住另一个网站可能不是最好的主意，这个流程更好地异步完成，意思是，发布django请求并有另一个处理废料的过程，我想这对新手来说不是一件容易的事情。 ，但试着忍受我。

流程应如下所示：

1. 用户提交请求以从其他网站获取某些数据
2. 蜘蛛抓取开始于与django不同的进程，用户请求被释放
3. spider将项目管道传输到某个数据存储（数据库）
4. 用户循环询问该数据，django根据插入数据存储的数据更新用户
射击scrapy蜘蛛可以直接从python代码启动，使用像celery这样的工具，也可以看django and celery，或者使用python {{1}在新进程中启动它。使用scrapyd管理这些蜘蛛
，甚至更好