阻止？page = in robots.txt

Question

基本上，谷歌正试图索引数千篇看起来像这样的文章：

/questions/are-eggs-bad-for-you?page=69

由于我的分页和无限滚动，网址从page=1到page=99不等。

如何在robots.txt文件中仅包含网址的?page=部分，以便它不会使用网页编号对任何内容编制索引？

不确定这是否是提出这个问题的正确位置，但我很难找到答案。感谢。

Answer 1

对于Google，最好通过google webmaster tools进行，然后去抓取 - ＆gt;网址参数：

添加参数page，选择效果为Paginate，仅抓取Value=1

详细了解Search Console Help - Learn the impact of duplicate URLs