使用无头浏览器获取页面会返回与正常浏览器不同的响应

Question

当我使用Firefox或Chrome转到https://soundcloud.com时，会显示正常的首页。但是，当我使用ghost.py或Robobrowser（我发现只有两个支持Javascript并使用Python 3的Python无头浏览器）所有cookie直接从Chrome请求（包括useragent）复制时，抓取的页面会显示＆＃39;我们找不到这个页面＆＃39; （具有完全形成的接口，而不仅仅是404错误）。我知道Javascript已经执行，因为尝试在没有启用它的情况下访问该站点会发出有关需要使用支持它的浏览器的特定消息。具体来说，这是我附加的标题（虽然没有这样做不会改变结果）：

headers = {
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language':'en-US,en;q=0.8',
'Connection':'keep-alive',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.107 Safari/537.36',
'Accept-Encoding':'gzip, deflate, sdch',
'Cache-Control':'max-age=0',
'Referer':'https//soundcloud.com/',
'Upgrade-Insecure-Requests':'1'
}

我在SO上检查了每个类似的问题，它们都归结为不正确的标题或浏览器不支持Javascript，这两个都不适用于此。