google bot和access.log文件大小

Question

我有一个困境。

我通过以下方式访问网址：

curl -sD -L -A“Mozilla / 5.0（兼容; Googlebot / 2.1; + http://www.google.com/bot.html）”http://www.example.com/product1 它给了我36898的尺寸

当我通过以下方式访问网址时： 卷曲http://www.example.com/product1 它给了我36898的尺寸

但是access.log显示googlebot何时访问相同的网址大小8275

知道为什么会这样，并且可能会想到如何修复它？

Answer 1

嗯，我会更感兴趣，而不仅仅是一个没有创造任何主题输入的答案。 我自己设法回答了。 文件长度的差异是由于Googlebot获得了该文件的gzip压缩版本（因此为8275），但curl正在访问解压缩版本（36898）。