提交的网址已被robots.txt阻止

Question

在过去的几周中，Google一直在Search Console中报告错误。我越来越多的网页不允许抓取-覆盖率报告说： 提交的网址已被robots.txt阻止。

正如您所看到的，我的robots.txt非常简单，为什么我的页面中约有20％会出现此错误，我却迷失了。

User-agent: *
Disallow: /cgi-bin/
Allow: /
Sitemap: https://www.theartstory.org/sitemapindex.xml
Host: https://www.theartstory.org

示例页面，显示错误：

https://www.theartstory.org/movement-fauvism-artworks.htm

https://www.theartstory.org/artist-hassam-childe-life-and-legacy.htm

Answer 1

您的robots.txt文件配置错误。您只需要：

User-agent: *
Crawl-delay: 40
Disallow: /cgi-bin/

Sitemap: https://www.theartstory.org/sitemapindex.xml

将其提交给您的robots.txt，然后再次尝试抓取。