Googlebot抓取我的网站，即使我的robots.txt文件告诉它不要

Question

我已设置robots.txt以阻止Google抓取我的网站，因为它正在开发中：

# robots.txt
User-agent: *
Disallow: /

但是，日志表明Googlebot会访问我网站的各个部分。一次只有一页。为什么他们这样做，我怎么能阻止他们这样做呢？

日志提取：

  

66.249.72.174 - - [07 / May / 2011：08：12：11 -0700]“GET /？page = 2＆amp; atype = new＆amp; filter = h HTTP / 1.1”200 10156 - “Mozilla / 5.0（兼容; Googlebot / 2.1; + http：//www.google.com/bot.html），gzip（gfe），gzip（gfe），gzip（gfe）“

我确实希望谷歌抓取我的网站，但还没有。