我在多个服务器上使用pycurl进行了一些网络爬行,并在日志中看到有些项目将GnuTLS错误作为标题返回。我手动检查了输入参数,当我在本地运行脚本时,结果很好。
我最初的想法是,我可能已经被网站阻止了几次,但是当我研究这个错误时,我看到没有人提到被阻止的地方。
我不知道这个错误到底是什么,此时我唯一的解决办法就是实现像指数等待一样的重试。但是,如果有人能提供有关此特定错误的一些知识,我将非常感谢您的意见。
答案 0 :(得分:0)
我发现GnuTLS recv错误只是基于网站活动的错误,因为网站维护,升级,网站停机等等。因此,解决此问题的方法是提供尝试访问网站的重试机制。重试机制可能看起来像指数退避,它会增加等待时间并尝试再次访问该站点。