我在robots.txt中需要禁用的服务器上有几条路径。逻辑如下
/文件夹/文件夹/ nameoffolder1 / exludenext / ME1 /
/文件夹/文件夹/ nameoffolder2 / exludenext / ME1 /
/ folder / folder / nameoffolder3 / exludenext / me2 /
等..
问题是以下规则是否适用于/ excludenext /？
之后的所有文件夹禁止：/ folder / folder / * / exludenext / *
在Robots.txt Specifications中是声明的规则，例如/fish*.php，但会适用于文件夹，就好像我理解正确这条规则不适用于/fish-tank/file.php
答案 0 :(得分：1)
主要搜索引擎支持*通配符以进行网址排除，Google Webmaster Tools（抓取＆gt;屏蔽网址）提供了一种工具，可根据示例网址检查您的规则。
使用HTML的替代方法不是编写复杂的规则，而是在<meta name="robots" content="noindex">内的<head>内包含您希望从SERP中排除的网址上显示的网页。