如何在kohana中添加robots.txt？

Question

我是kohana的新人 我正在尝试为搜索引擎索引设置robots.txt文件 我有.htaccess

# Turn on URL rewriting
RewriteEngine On

# Installation directory
RewriteBase /mysite/

# Protect application and system files from being viewed
RewriteRule ^(system) - [F,L]

# Allow any files or directories that exist to be displayed directly
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d

# Rewrite all other URLs to index.php/URL

RewriteCond $1 !^(index\.php|favicon\.ico|robots\.txt)
RewriteRule ^(.+)$ index.php?kohana_uri=$1 [L]

我想将其设置为robots.txt文件：

https://mysite.com/contact-us

我的root中有这种类型的robots.txt文件：

User-agent: *
Disallow: /contact-us/

Sitemap: https://mysite.com/sitemap.xml

但是当我在谷歌中搜索mysite时，我会显示此页面 mysite.com 就是例如 如何将其隐藏在索引中？ 感谢

Answer 1

第Disallow: /contact-us/行会阻止路径以<{1}}开始的所有网址。

因此，它会阻止/contact-us/，但不阻止http://example.com/contact-us/（没有尾部斜杠）。

因此，如果你想阻止http://example.com/contact-us，你应该使用：

http://example.com/contact-us