单击一个按钮并返回带有闪屏的下一页

时间:2019-09-06 06:59:43

标签: python lua scrapy-splash

我正在尝试使用刮y的履带式浏览器浏览条款和协议页面,因为它接缝了,我需要该页面才能给我一个特殊的cookie。 python蜘蛛中定义的lua脚本如下。写入显示的文件可以正常工作,但是以相同的方式写入parse函数不会执行任何操作。在DEBUG日志中,它就像是从来没有调用过解析一样。

    luaScript = """
        function main(splash)
            splash:init_cookies(splash.args.cookies)
            assert(splash:go(splash.args.url))
            assert(splash:wait(1))
            hi = splash:html()
            splash:wait(2)
            element = splash:select("#chkAgree")
            ok, reason = element:mouse_click()
            element = splash:select(".action-agree")
            ok, reason = element:mouse_click()
            splash:wait(3)

            return {
                cookies=splash:get_cookies(),
                html=splash:html(),
            }
"""

    def termsCheck(self, response):
        with open('./termsPage.html', 'wb+') as f:
            f.write(response.body)

        req = scrapy_splash.SplashFormRequest(response.url,
                                        endpoint='execute', callback=self.parse,
                                        args={'lua_source': self.luaScript})
        return req

0 个答案:

没有答案