我们有一些过滤器来申请抓取工具，或者在浏览器中机器人和渲染之间应该没有区别？ 请求机器人应该被视为通过浏览器的公共访问？
我读到机器人有谷歌网络版和移动版。
我们需要确定移动机器人是否将内容显示为手机？
答案 0 :(得分：2)
您可以告诉机器人它可以和不能从域根目录中名为robots.txt的文件中访问它。
你读过这个吗？
http://www.robotstxt.org/robotstxt.html
它解释了如何允许/禁止您网站某些区域的机器人。
示例：
从服务器的一部分中排除所有机器人
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/