这是正确的语法吗?
Disallow: /file_name.*
如果没有,是否有办法在没有列出每个文件两次[多次]的情况下完成此操作?
答案 0 :(得分:0)
好的,根据http://tool.motoricerca.info/robots-checker.phtml
此代码块所解决的(所有)用户代理不支持文件名中的“*”wildchar。您应该在专门针对支持wildchar的蜘蛛(例如Googlebot)的代码块中使用wildchar“*”。
所以,我只是使用:
<meta name="robots" content="noindex,nofollow">
在我想阻止搜索引擎的每个页面中。