我正在尝试在我运行的应用程序上运行SEO工具包IIS扩展,但我不断收到以下错误:
Robots.txt规则不允许该请求
现在我已经在应用程序和根网站上编辑了robots.txt文件,因此它们都有以下规则:
Box
但这没有任何区别,工具包仍然无法运行。
我甚至尝试删除两个robots.txt文件,但仍然没有任何区别。
有没有人知道seo工具包无法运行的任何其他原因或如何解决这个问题?
答案 0 :(得分:0)
要允许所有漫游器完全访问,我建议使用以下语法(根据robotstxt.org)
User-agent: *
Disallow:
(或者只是创建一个空的" /robots.txt"文件,或者根本不使用一个文件)
allow directive仅受"某些主要抓取工具"支持。也许IIS搜索引擎优化(SEO)工具包的抓取工具可能没有。
希望这会有所帮助。如果没有,您也可以尝试浏览IIS SEO Toolkit Managing Robots.txt and Sitemap Files learning resource。
答案 1 :(得分:0)
答案 2 :(得分:0)
robot.txt可能已被缓存。停止/重新启动/卸载IIS(应用程序)。 robots.txt将刷新。打开浏览器重新加载文件。您甚至可以删除该文件以确保IIS不缓存它。
答案 3 :(得分:0)
robots.text基本上是不允许Google抓取管理员不允许的页面的文件,因此Google会忽略这些页面,这就是为什么这些页面从不排名,而Google从不显示该数据。