Gzip / mod_deflate如何影响爬虫/蜘蛛/机器人（最终也是我的搜索引擎优化）？

Question

我的任务是调查Gzip压缩。到目前为止，我已经想到了不仅普遍接受，而且非常普遍。现在我的问题是Gzip压缩如何影响访问我页面的抓取工具？

当我决定Gzip我的页面时，我应该记住什么？

我的SEO会以任何方式受到影响吗？

简而言之，压缩：如何以正确的方式做到？

Answer 1

Gzipping不应该影响抓取工具查看页面的方式。谷歌甚至建议压缩内容，因此使用gzip压缩内容应该没有任何问题。实际上它应该有助于您的页面排名。大多数现代浏览器都支持Gzip压缩内容并在accept-headers中请求它们。你需要做一些事情，比如在进行gzipping之前缩小js和css，还有很多关于需要做什么的好文章。它还取决于您的系统环境能力。

警告：可能很少有区域特定的抓取工具可能不支持它们，但大多数主要抓取工具都支持它们。