seo toolkit - robots.txt规则不允许请求

Question

我正在尝试在我运行的应用程序上运行SEO工具包IIS扩展，但我不断收到以下错误：

  

Robots.txt规则不允许该请求

现在我已经在应用程序和根网站上编辑了robots.txt文件，因此它们都有以下规则：

Box

但这没有任何区别，工具包仍然无法运行。

我甚至尝试删除两个robots.txt文件，但仍然没有任何区别。

有没有人知道seo工具包无法运行的任何其他原因或如何解决这个问题？

Answer 1

要允许所有漫游器完全访问，我建议使用以下语法（根据robotstxt.org）

User-agent: *
Disallow:

  

（或者只是创建一个空的＆＃34; /robots.txt"文件，或者根本不使用一个文件）

allow directive仅受＆＃34;某些主要抓取工具＆＃34;支持。也许IIS搜索引擎优化（SEO）工具包的抓取工具可能没有。

希望这会有所帮助。如果没有，您也可以尝试浏览IIS SEO Toolkit Managing Robots.txt and Sitemap Files learning resource。

Answer 2

1. 检查以确保DNS记录指向正确的服务器
2. 如果您要搜索该文件，请考虑区分大小写 - robots.txt vs Robots.txt
3. 确认Toolkit实际上是在尝试访问该站点。检查IIS日志中是否存在“iisbot”用户代理。

Answer 3

robot.txt可能已被缓存。停止/重新启动/卸载IIS（应用程序）。 robots.txt将刷新。打开浏览器重新加载文件。您甚至可以删除该文件以确保IIS不缓存它。

Answer 4

robots.text基本上是不允许Google抓取管理员不允许的页面的文件，因此Google会忽略这些页面，这就是为什么这些页面从不排名，而Google从不显示该数据。