我需要禁止索引2页，其中一页是动态的：
site.com/news.php
site.com/news.php?id=__
site.com/news-all.php
我应该在robots.txt中写什么：
User-agent: *
Disallow: /news
或
Disallow: /news*
或
Disallow: /news.php*
Disallow: /news-all.php
最终是否应该使用通配符？
答案 0 :(得分：2)
User-agent: *
Disallow: /news.php?id=*
User-agent: *
Disallow: /news-all.php
更多信息here
修改
第一条规则允许news.php带参数但允许news.php不带？id = __。如果您不想抓取news.php，则必须使用/news.php *
答案 1 :(得分：1)
肯定
Disallow: /news.php
Disallow: /news-all.php
是对的。 如果你有完整的文件名，就不需要星星了。
对我来说虽然很有趣Disallow: /news*
方法可行。
答案 2 :(得分：1)
robots.txt中的允许和禁止行说“允许（或禁止）以”。“开头的任何内容。
所以：
Disallow: /news.php
与
相同 Disallow: /news.php*
当然，提供机器人阅读robots.txt了解通配符。如果机器人不理解通配符，那么它会将星号视为实际文件名的一部分。
行尾的星号是多余的，有潜在危险。