Scrapy / Splash不会载入TripAdvisor评论

Question

我有一个TripAdvisor的Scrapy蜘蛛，最近几天一直在工作，但现在不起作用了。我尝试使用LUA参数直接在浏览器（https://www.tripadvisor.com/Attraction_Review-g189158-d195144-Reviews-Oceanario_de_Lisboa_Lisbon_Lisbon_District_Central_Portugal.html）中加载页面（例如http://127.0.0.1:8050），并返回没有评论的页面。

已编辑： 我注意到他们正在使用POST方法加载修订内容（不确定其工作方式），并且由于某些原因，Scrapy + Splash无法呈现最终页面。

可以在脚本中添加任何内容以允许整页加载吗？

LUA脚本：

function main(splash, args)
  assert(splash:go(args.url))
  assert(splash:wait(2.5))
  assert(splash:set_viewport_full())
  return {
    html = splash:html(),
    png = splash:png(),
  }
end