我刚刚使用Meteor Up部署了一个网站，我正试图弄清楚我的网站是否可以被Google抓取。
执行时
卷曲www.compmaker.com?_escaped_fragment _ =
它返回包含所有文本的页面。此外，当我搜索“compmaker.com”作为搜索查询时，它似乎在我的网站上列出了描述中的一些内容。
但是，在Google网站管理员中，当我转到Google抓取方式并按下抓取和渲染时，HTML中的内容就会丢失。此外，Adsense拒绝了我的网站，因为它无法看到任何文字。
所以我想知道，实际上是否有蜘蛛？如果没有，为什么当我使用curl时我实际上可以看到html但谷歌无法进行？
另外，如果我通过Meteor Up安装并且我将“setupPhantom”设置为true，并且我在我的meteor项目中作为一个软件包具有spiderable，那么我还需要google来抓取我的Meteor网站吗？
我有一种感觉，也许phantomjs可能在开始时工作，然后在某些时候，停止工作（该网站的谷歌缓存副本是几天前）和curl工作因为我有快 - 渲染。这是一个看似合理的解释，如果是这样，我如何让phantomjs重新启动？
答案 0 :(得分：0)
产生类似于您描述的症状的最常见问题是我们（Google）无法获得对渲染至关重要的资源。
在Fetch and Render中，您可以在页面底部看到哪些资源在渲染过程中无法加载。如果有一些显示，我会修复这些：确保服务器快速响应这些资源请求，并且它们不会被robots.txt阻止。
答案 1 :(得分：0)
我的问题与您描述的有些相似，您可以在此处查看详细信息http://www.themastfarminn.com/php-prob/
我向托管公司发送了一张支持票，这是他们回复的内容：
|||||||||||||||||||||||||||
我们最近更新了所有签名帐户的Mod Security设置。这将阻止任何不包含HTTP标头中的用户代理字符串的请求并发送禁止响应。要解决此问题，您需要更新脚本（curl脚本）以包含用户代理字符串，然后服务器将允许连接。
|||||||||||||||||||||||||||