根据Scrapy-Splash Tutorial,Scrapy-Splash使用Splash HTTP API,因此您还需要一个Splash实例。
通常,要安装和运行Splash,只要这样:
$ docker run -p 8050:8050 scrapinghub/splash
但是,我写了一个Spider,它使用自定义javascript执行Javascript(提交表单),即使我没有运行启动实例,spider也可以工作-至少,我没有明确地启动使用docker进行启动实例(如文档中所建议)-或其他与此相关的事情。
我的理解是Splash实例运行一个无头浏览器,然后使用HTTP API在Scrapy和无头浏览器之间进行通信。
那么Scrapy-splash如何运作? (即在获取的页面上成功执行javascript等)?