如何使用splash获取弹出内容

时间:2016-09-06 14:24:23

标签: python web-scraping popup scrapy scrapy-splash

我开始使用scrapy with splash,我想知道splash是否可以处理多个窗口和弹出窗口。作为一个例子,我想使用该lua脚本并尝试获取谷歌窗口的内容

function main(splash)
  assert(splash:go("http://stackoverflow.com/"))
  assert(splash:runjs("window.open('http://www.google.com');"))
  assert(splash:wait(5))
  return {
    ?
  }
end

1 个答案:

答案 0 :(得分:1)

我发现了一个小小的黑客,我做了一个

assert(splash:runjs("window.open = function(url) {window.location.replace(url)};")

因此,不是打开新窗口,而是重定向到链接,但是如果没有使用window.open来打开弹出窗口,它可能无法正常工作

我认为用硒进行治疗可能也是一种解决方案,但我想保持我的东西轻量化