如何通过数组格式的查询字符串禁止URL

Question

我想禁止使用带有数组格式的特定查询参数的所有URL。

例如，我有这种URL：

https://example.com/site/?param[index]=1&param[index2]=5

，并且我不希望所有爬网程序都在所有数组版本中使用param参数对网站进行爬网。

第二个问题：是否只有在出现某些数组参数时才可以禁止使用？例如，param[index3]？ （我不需要它，但是它可能对其他人有用）

Answer 1

robots.txt语法不支持此功能。

最接近的方法是将<meta name="ROBOTS" content="NOINDEX">添加到查询字符串中带有该参数的任何页面。