我正在尝试使用刮y的履带式浏览器浏览条款和协议页面,因为它接缝了,我需要该页面才能给我一个特殊的cookie。 python蜘蛛中定义的lua脚本如下。写入显示的文件可以正常工作,但是以相同的方式写入parse函数不会执行任何操作。在DEBUG日志中,它就像是从来没有调用过解析一样。
luaScript = """
function main(splash)
splash:init_cookies(splash.args.cookies)
assert(splash:go(splash.args.url))
assert(splash:wait(1))
hi = splash:html()
splash:wait(2)
element = splash:select("#chkAgree")
ok, reason = element:mouse_click()
element = splash:select(".action-agree")
ok, reason = element:mouse_click()
splash:wait(3)
return {
cookies=splash:get_cookies(),
html=splash:html(),
}
"""
def termsCheck(self, response):
with open('./termsPage.html', 'wb+') as f:
f.write(response.body)
req = scrapy_splash.SplashFormRequest(response.url,
endpoint='execute', callback=self.parse,
args={'lua_source': self.luaScript})
return req