标签： web-scraping wget
我制作了一个脚本，以便从一堆网站中删除信息。
在我可以使用网络浏览器打开的网站上，当我尝试使用wget打开它时收到错误消息：ERROR 403：Forbidden。
我尝试设置与浏览器相同的标题，但它没有用。 robots.txt授予机器人访问整个站点的权限，因此我想知道是否有办法了解我的机器人被阻止的具体原因。
提前致谢。