我已经设置了边缘缓存来缓存HTML内容。当资源被浏览器或Curl命中时，它可以很好地工作。在这两种情况下，第一个请求都会加热缓存，第二个请求直接来自Cloudflare。
但是，通过我的日志，我注意到Bing，Yahoo和Google等抓取工具似乎没有加热缓存。
当我在浏览器中或通过Curl访问以前被爬虫搜索到的网址时，后续请求也会访问我的原始服务器（根据我的服务器日志）。
这是计划大小（常规与企业版），配置错误还是Cloudflare特例爬虫用户代理？
答案 0 :(得分：0)
如果您的网站未从Google通常会抓取的位置访问过，那么CloudFlare缓存中可能不会很热。
您可能会在CloudFlare中看到setting a higher Edge Cache Expire TTL带来的好处，具体取决于搜索引擎抓取您网站的频率;为此，您需要use CloudFlare's Page Rules。
如果你想要更多定制的东西，你可能最好接触到CloudFlare's Enterprise Sales team。