通过Web服务访问Scrapy

时间:2014-03-26 07:06:19

标签: python json web-services scrapy

我一直在搜索SO和网络,并且无法找到我的问题的解决方案;所以我想我会在这里提出一个问题。

我目前正在使用Scrapy,并成功从目标网站检索我需要的数据。

蜘蛛的创建是一个大项目的一部分,因此我需要找到一种方法将蜘蛛的结果导入我的网站。

我不想用蜘蛛访问数据库,因为在存储数据之前需要对数据应用各种逻辑,我不希望在其他地方重复该逻辑

我在想的可能是一个web服务,它接收一个JSON对象作为请求;并返回带有结果的JSON对象。

我在网络设置中对Scrapy和Python相当新,但我已经阅读了Scrapy文档。虽然有一个针对Scrapy的网络服务,但这似乎更多地与蜘蛛的监控有关;而不是返回结果。

非常感谢任何帮助和想法。

谢谢,

0 个答案:

没有答案