标签： web-crawler bandwidth googlebot
在magento网站中，“未查看的流量包括机器人，蠕虫或带有特殊HTTP状态代码的回复产生的流量”会浪费32 GB“带宽”。
Googlebot仅使用29.41 GB。我想避免所有这些消耗带宽的“机器人/蜘蛛”。
主要如何删除至少“googlebot”。
提前致谢。