如何防止Google在ascx控件中使用JavaScript形成URL

Question

问题出现了：在.ascx控件上，有一个简短的Javascript块。除其他外，该脚本引用控件中的方法，并为网站上的不同页面生成DoP元标记。

问题是，Google抓取工具会在页面中读取Javascript并认为每个DoP元标记都是某种类型的网址。这可能是因为标签中有正斜杠（？）。最后，谷歌已经在网站上索引了大量不存在的网址，并给予他们404状态。有没有解决的办法？例如，是否可以将nofollow标签直接放到Javascript中？

<script language="javascript" type="text/javascript">
   <!-- DoP tag -->
   var v = {};
   v["sample"] = '/Product_A_';
</script>

谷歌抓取工具似乎从上面的脚本中索引了一个网址“http://www.my web site.com/Product_A_”。

Answer 1

如何设置站点地图和robots.txt？

http://en.wikipedia.org/wiki/Sitemaps

这样，搜索引擎只会对站点地图中指定的内容进行抓取和索引，您可以使用robots.txt排除极端内容，特别是如果它们都遵循特定模式。

或者在这些页面上使用元标记“nofollow”，这意味着搜索引擎不会遵循任何其他链接：

http://www.robotstxt.org/meta.html