我有一个脚本,它使用机械化和代理连接到网站并获取一些数据。它首先登录 奇怪的是,它有90%的时间崩溃。让我们说我必须刮掉10页,90%的跑步会刮掉< 10,并且经常在登录时崩溃。 大多数错误都是在代理发送的不同超时和格式错误的数据中(不完整的读取)。我得到3-4个不同的错误。我已将套接字超时设置为65秒。
同一个网站打开确定,我可以使用我用于python的相同代理用FF浏览它。没有任何超时或错误。 我在FF和python中使用forxy代理。 任何想法为什么浏览器工作正常,机械化将失败与完全相同的代理?