Robot.txt允许在域中指定URL

Question

我想只允许主网址（域名）和http://domain/about，其他网址在搜索谷歌时不可见。示例我的链接如下：

http://example.com
http://example.com/about
http://example.com/other1
http://example.com/other2
http://example.com/other3
http://example.com/other4
http://example.com/other5
http://example.com/other6
and more URL. 

我的问题是robot.txt的内容，我想仅允许http://example.com和http://example.com/about，我的网站使用wordpress。

感谢。

Answer 1

你想要的是：

User-agent: *
Allow: /$
Allow: /about
Disallow: /

$表示url字符串必须在那里结束。因此，它不允许使用/example.com/foo。

Answer 2

User-agent: *
Allow: http://example.com/about
Disallow: /