标签： search-engine robots.txt
我想确保我的robots.txt文件设置正确，以禁止某个特定搜索引擎索引该网站：
User-agent: msnbot-media Disallow: / User-agent: * Disallow:
这看起来不错吗？ 我想确保我没有搞乱订单
我想禁止/禁止它们的原因是因为msnbot正在索引一堆文件，这些文件在我们的服务器上没有，也从未存在过。结果就是创建了大量的日志文件。