抓取谷歌Ajax阻止

时间:2015-07-01 15:47:01

标签: ajax parse-platform google-webmaster-tools

我是新手Parse,我有一个问题。我想对动态内容使用解析类,如博客文章。每个人都按预期工作没有问题;但当我尝试在谷歌网站管理员工具中以谷歌的形式获取时,它表示AJAX已被阻止。因此谷歌无论如何都不会将这些内容编入索引。

当我按照链接时,我在下面看到了这一点。

this is what I see when follow class link

所以google抓取工具尝试获取ajax内容,但它遇到了ConnectionFailed又名100错误。 (我测试它在页面上的标签中显示什么返回解析查询错误回调。所以我看到什么呈现谷歌)

我做错了这是预期的行为吗?

任何人都知道如何解决这个问题?

顺便说一句:我在heroku上托管这个网站,自定义域名通过https(cloudflare dns重定向和免费ssl)

我也部署到Parse Cloud Hosting,遗憾的是结果相同:(

这是Google抓取的完整结果:

full page result of fetch as google

1 个答案:

答案 0 :(得分:1)

https://api.parse.com/1/classes/GameScore处的页面要求进行身份验证,并为未经授权的请求提供401 Unauthorized状态代码。那已经成了问题。 除此之外,https://api.parse.com/robots.txt的页面当前正在显示

User-Agent: *
Disallow: /

Googlebot无法访问该网页,因为它首先不允许抓取,但即使它可以访问它,它也会遇到无法通过的身份验证网。

如果该网址(https://api.parse.com/1/classes/GameScore)中的内容对于其引用/使用的网页至关重要,则必须使用Parse才能允许抓取工具访问这些网址。 如果它不是必需的,那么你可以放心地忽略那个警告。