我一直在搜索如何没有索引特定的网址，但我没有找到以下任何具体信息。
添加以下
<?php if(is_single(X)): ?>
<meta name="robots" content="noindex,nofollow">
<?php endif; ?>
我将无法索引（X），其中X可以是帖子ID，例如“Hello World”的帖子标题，或者是“hello-world”的帖子。
是否可以指定所有以相同的帖子或标题开头的网址，例如，如下例所示？
www.test.com/REF-123-mytest.html
www.test.com/REF-123-yourtest.html
www.test.com/REF-123-histest.html
我可以省略以REF-123开头的所有网址吗？
答案 0 :(得分：1)
使用robots.txt，您可以禁止抓取。
使用meta - robots（或HTTP标头X-Robots-Tag），您可以禁止建立索引。
如果您打算禁止编制索引，you shouldn’t会禁止robots.txt中的网址，否则机器人将永远不会知道您不希望将这些网址编入索引。
如果您想禁止抓取，可以使用此robots.txt：
User-agent: *
Disallow: /REF-123
这适用于路径以REF-123开头的所有网址（区分大小写！）。
如果您想禁止编入索引，您可以将meta元素添加到所有这些页面
<meta name="robots" content="noindex">
或发送相应的HTTP标头X-Robots-Tag：
X-Robots-Tag: noindex
答案 1 :(得分：0)
您可以在robots.txt文件中添加此规则：
Disallow: www.test.com/REF-123*