如何阻止API生成的URL的爬网和索引编制?

时间:2018-09-05 07:41:50

标签: html api web bots

我们已经使用财务数据的API来生成股市更新。 API小部件具有一个下拉部分,可滚动浏览不同的选项,以了解例如来自不同指标的股票列表。下拉列表中的一些选项是“失败者最多”,“获得者最多的赢家”。

但是,对于每个部分,都会创建一个新的URL(例如,例如www.abc.com?mm-opions=52周,www.abc.com?mm-opions =顶部获胜者等)并且新的网址会在Google SERP中建立索引。由于索引了相同URL的4-5版本,因此会导致重复的内容问题。有人可以针对我如何阻止多余的URL进行爬网和编制索引提出解决方案吗?

谢谢!

0 个答案:

没有答案