网站可以阻止程序自动下载文件吗?

时间:2014-12-20 04:49:08

标签: python html

我正在用python编写一个程序,它将每天从网站上自动下载一次pdf文件。 在尝试测试时,我注意到下载的文件具有正确的扩展名,但与手动下载时的正常大小约100kB相比,它们非常小(<1kB)。

网站是否可以阻止程序自动下载文件?

有什么可以做的吗?

1 个答案:

答案 0 :(得分:3)

是。 Cloudflare可以阻止机器人下载文件。阻止通常通过检测用户代理或在网页中包含javascript来完成。我会检查记事本中的pdf文件并查看其中包含的内容,并尝试在python代码中添加用户代理选项。