我已禁止使用robots.txt对所有抓取工具使用某些网页。我是否必须为这些文件编写元标记，或者网页爬虫只是跳过它们，所以没有必要这样做？
答案 0 :(得分：2)
如果你想要限制的爬虫服从robots.txt那么你很好，但是如果它没有那么你就可能被搞砸了，因为它也可能会忽略元。
所有主要的搜索引擎抓取工具都遵守它，所以你可能很好。
答案 1 :(得分：1)
写好的机器人会忽略这些页面（前提是robots.txt语法正确）。
答案 2 :(得分：1)
你很高兴。所有大型搜索引擎（Google，真的）都遵守您在robots.txt中所做的任何条目。 http://www.robotstxt.org/robotstxt.html
另外，请注意robots.txt文件本身是可见的，因此不要将其用作安全措施。 http://www.cre8asiteforums.com/forums/index.php?showtopic=55546