Splash无法完全呈现页面

时间:2018-04-23 16:55:57

标签: scrapy web-crawler splash scrapy-splash

我一直在学习使用scrapy + splash用js抓取网页。我有一个网站问题 - https://aukro.cz/mobilni-telefony - 它没有完全渲染。相反,我的整个页面都有空的产品列表。

scraped page

我已经尝试修改等待时间和滚动页面而没有任何效果。下面的Lua脚本

function main(splash, args)
  splash:go(args.url)
  assert(splash:wait(20))
  local scroll_to = splash:jsfunc("window.scrollTo")
  scroll_to(0, 300)
  return {png=splash:png()}
end

我还应该怎么办?提前感谢您的帮助。

0 个答案:

没有答案