即使我的机器上没有安装服务器,scrapy-splash如何工作?

时间:2018-07-10 22:57:10

标签: python scrapy

根据Scrapy-Splash Tutorial,Scrapy-Splash使用Splash HTTP API,因此您还需要一个Splash实例。

通常,要安装和运行Splash,只要这样:

$ docker run -p 8050:8050 scrapinghub/splash

但是,我写了一个Spider,它使用自定义javascript执行Javascript(提交表单),即使我没有运行启动实例,spider也可以工作-至少,我没有明确地启动使用docker进行启动实例(如文档中所建议)-或其他与此相关的事情。

我的理解是Splash实例运行一个无头浏览器,然后使用HTTP API在Scrapy和无头浏览器之间进行通信。

那么Scrapy-splash如何运作? (即在获取的页面上成功执行javascript等)?

0 个答案:

没有答案