如何删除X-Robots-Tag?

时间:2019-12-30 01:51:46

标签: seo laravel-6 x-robots-tag

由于X-Robots-Tag的值为“ noindex,nofollow”,我目前无法抓取我的网站(Laravel 6.0)。

除了我没有设置此值而且我不知道如何删除它。

我尝试了一个普通的机器人标签:<meta name="robots" content="index, follow">

我还安装了Spatie\RobotsMiddleware软件包,但要做的只是添加第二个X-Robots-Tag。第一个仍然存在,并且正在生效/优先。

Screamingfrog Crawl Results

我非常接近启用新站点,这是我最后的障碍。

任何摆脱X-Robots-Tag 1(或替换值)的帮助都将受到赞赏!

0 个答案:

没有答案