我一直在搜索SO和网络,并且无法找到我的问题的解决方案;所以我想我会在这里提出一个问题。
我目前正在使用Scrapy,并成功从目标网站检索我需要的数据。
蜘蛛的创建是一个大项目的一部分,因此我需要找到一种方法将蜘蛛的结果导入我的网站。
我不想用蜘蛛访问数据库,因为在存储数据之前需要对数据应用各种逻辑,我不希望在其他地方重复该逻辑
我在想的可能是一个web服务,它接收一个JSON对象作为请求;并返回带有结果的JSON对象。
我在网络设置中对Scrapy和Python相当新,但我已经阅读了Scrapy文档。虽然有一个针对Scrapy的网络服务,但这似乎更多地与蜘蛛的监控有关;而不是返回结果。
非常感谢任何帮助和想法。
谢谢,