我将SEMrush用于SEO。我不确定为什么在他们的网站上抓取我的页面时会收到以下错误：
由于HTTP错误406，我们无法使用SEMrushBot用户代理对该页面进行爬网。尽管如此，我们仍可以收集此页面的一些一般性想法。请确保搜索引擎搜寻器可以访问您的页面，然后开始使用我们的想法对其进行优化。
什么可能导致406错误，以防止漫游器爬网该页面？我相信Google可以抓取它，因为我没有任何错误。
我可以检查什么？
Robots.txt文件：
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Disallow: /admin/
Disallow: /old-site/
sitemap: https://example.com/sitemap.xml
答案 0 :(得分：0)
406 是错误，它告诉您服务器不会向您提供任何数据，因为您的用户代理不在接受列表中。
根据请求中收到的主动协商标头字段，目标资源不具有用户代理可接受的当前表示形式，并且服务器不愿意提供默认表示形式。
因此，解决此问题的基本方法是更改您的用户代理。