我正在使用许多在移动设备上无法正常工作的效果构建此网站，因此我们构建了一个简单的html版本，当它们不支持所有效果时，我们会重定向设备。
Normal version URL: www.mysite.com/#some_page_name
Simple version URL:www.mysite.com/static.php?p=some_page_name
问题是我们不希望Google，Bing和Yahoo在搜索结果中提供简单版本的网址，我们总是希望人们登陆网站的正常版本。
是否可以通过Apache，PHP或JS告诉搜索引擎机器人忽略以static.php开头的所有网址？
答案 0 :(得分：4)
将它放在robots.txt文件中：
User-agent: *
Disallow: /static.php
这不仅会使网页远离机器人索引，还会阻止它们一起抓取它们。
答案 1 :(得分：3)
答案 2 :(得分：2)
使用robots.txt文件，在您的情况下，它看起来像
# www.robotstxt.org/
User-agent: *
Disallow: /static.php
您可以在robots.txt here
上阅读更多内容答案 3 :(得分：2)
您可以使用robots.txt执行此操作：
User-agent: *
Disallow: *static.php
*是一张外卡，因此会影响名为static.php的所有页面。因此，如果您在子目录中遵循类似的范例，这也将影响它们。