标签: web-scraping lua scrapy splash
我在lua中有一个脚本进入网站,检查第一个复选框,然后在2秒后再次取消选中它。这迫使网站禁用所有过滤器并向我的scrapy显示完整内容。
不幸的是,在添加代理连接后,一切都停止工作 - 网站仍然被提取,但这次是空的(就像没有点击复选框一样)。
我做错了吗?
我的代码:
Data too long for column 'mycolumn' at row 1