禁止动态htaccess重写url

Question

我如何禁止robots.txt页面索引

http://example.net/something,category1.php
http://example.net/something,category2.php
(...)
http://example.net/something,category152.php

我试过

Disallow: /something,*.php

但它说，我不能在这里使用通配符（*）。

Answer 1

您可以更改链接格式并将所有Disallow个网页打包到一个网址目录中，或者编写程序/脚本以生成robots.txt一个Disallow所有可用的内容Disallow链接看起来。