虽然被robots.txt laravel阻止了索引

Question

我在谷歌搜索控制台中有一些网址警告。它在laravel 5.5中制作的项目

indexed though blocked by robots.txt

在标题应用布局中，我有：

<meta name="Robots" content="index,follow" />

此网址的错误之一是服务器错误（5xx）：

https://mydomain/remove-item-cart/26101

我不想将remove-item-cart编入索引，所以在 robots.txt 中我已阻止：

Disallow: /remove-item-cart/

由于元“索引”可能会发生错误 - 但我不确定。

remove-item-cart是 web.php

中的 get 方法

Route::get('/remove-item-cart/{id}', 'CartController@removeItem')->name('removeItemCart');

在return redirect()->route('cart');

之后从购物车中删除商品的位置

如何将laravel中的最佳做法归结为noindex那些获取方法??? 我应该从机器人中移除“Disallow”行并在刀片标题布局中根据url请求在meta中设置“noindex”吗？

Answer 1

为了节省一些时间和精力，如果您不确定如何自行生成robots.txt文件，我建议使用https://github.com/ellisio/laravel-5-robots等软件包。它有一个相当优雅的解决方案来以编程方式创建它们。

Answer 2

在您页面的部分中。

meta name="robots" content="noindex"

如果您想单独阻止 Google 抓取工具，请使用以下标记 –

meta name="Googlebot" content="noindex"