抓取谷歌无法调用api

Question

我有一个反应应用程序。对于SEO我正在预览谷歌如何看到我们的反应应用程序。 在我们的应用中，如果API失败，我们会在页面上显示错误消息。 因此，当我们以Google搜索时，我们会看到相同的错误。这意味着API失败，但在浏览器中，它工作正常。 我无法找到Google在获取api时出错的原因。

我们已将部分API响应和错误消息分类。所以我们得到的错误意味着..错误代码介于300 - 400之间，任何高于403

归因于CORS吗？还是有反应的东西？有什么建议？

Answer 1

您不允许在robots.txt文件中请求API网址。这将阻止Google执行您的JavaScript代码，因为API“无法访问”。

请参阅help center article that is linked from the "Fetch as Google"页面：

  

Google收到了您网站的回复并提取了该网址，但无法覆盖该网页引用的所有资源，因为它们被robots.txt文件阻止。如果这只是一个提取，请进行提取和渲染。检查呈现的页面以查看是否有任何重要资源被阻止，这可能会阻止Google正确分析页面的含义。 如果阻止了重要资源，请取消阻止您拥有的robots.txt文件上的资源。对于您不拥有的robots.txt文件阻止的资源，请与资源网站所有者联系，并要求他们取消阻止这些资源到Googlebot。

您还可以看到这些页面只是“部分”获取，详细信息页面会告诉您哪些网址被阻止以及原因。