禁止在Robots.txt中包含哈希的目录

时间:2013-04-17 09:51:22

标签: indexing web-crawler bots robots.txt google-webmaster-tools

假设您要禁止目录/ #test /(其中目录名以哈希开头)

我尝试使用该行:Disallow: /#test/

但是,这不起作用,因为在谷歌搜索后,我发现哈希符号(#)是为robots.txt文件中的注释保留的,其中#行上的所有内容都将被忽略。

之后我尝试了

Disallow: /\#test/

Disallow: /"#test"/

但那些也不起作用。

任何人都知道我应该使用什么语法?

编辑:顺便说一句,我正在使用Google网站管理员工具测试机器人规则是否有效

1 个答案:

答案 0 :(得分:0)

#通常用作fragment,因此您可能无法从浏览器访问它。

那为什么不Disallow: /%23test/