我正在使用phantomJS和自定义http标头在python / selenium设置中抓取一个URL池。
某些特定网址会阻止该请求并将其转发至dontuseabot.css
。
但是,当我手动编辑某些标题字段的大小写并使用Fiddler重播/重新发出请求时,我可以在不看到dontuseabot.css
的情况下到达感兴趣的网址。
由于http标头是case sensitive,如何在phantomJS请求标头字段中强制使用大写/小写?在Fiddler中设置规则似乎是一种效率低下的解决方案 - 类似于修补phantomJS。