我有一个包含3种文件的目录
1. thisdir/some/phpfile.php
2. thisdir/some/after-url-rewrite/1 (all numbers)
3. thisdir/something.htm (block any file end with .htm in thisdir/
我只想阻止第三种类型的文件，因为不再存在，但搜索引擎蜘蛛一直在要求它们
感谢您的帮助。
答案 0 :(得分：1)
你可以写你的robots.txt
disallow: thisdir/*.htm$
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
答案 1 :(得分：0)
如果该文件不存在，那么您只需将该第3个文件的所有请求重定向到包含301代码的有效链接。
RewriteEngine On
RewriteRule ^thisdir/something\.htm$ /thisdir/some/phpfile.php? [L,NC,R=301]