标签： url indexing robots.txt google-webmaster-tools
如何使用robots.txt阻止特定网址？我们不希望Google抓取我们的网站。如何在robots.txt文件中为这些网址定义disallow标记？
答案 0 :(得分：0)
要从服务器的一部分中排除所有漫游器，如果要排除例如这3个文件夹，则可以使用此功能：
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/