Javascript中的Googlebot和网址

Question

我在一个包含大量javascript页面的网站上工作。我将url模板放入页面上的javascript中，以便在将信息发回服务器时使用页面的js。例如：

var someUrlTemplate = '/widget/-1/edit';

// and later
$.get(someUrlTemplate.replace(/-1/, widgetId), ...);

googlebot正在尝试关注'widget / -1 / edit'。我不希望它，因为这个链接显然是一个死胡同。

我知道其他人必须遇到类似的问题，我想知道人们提出了什么样的解决方案。我已经读过关于尝试在javascript块的注释中使用html注释或CDATA。我已经读过将url字符串分解为连续的块或其他混淆方法。但我在互联网上什么都没发现，这似乎是一个明确的最佳实践。

Answer 1

我对最佳做法的看法是将该URL放在外部JS文件中。据我所知，没有搜索机器人导航到JS文件，所以不会在那里找到它。事实上，尽可能多的JS应该在外部文件中。

Answer 2

实际上搜索引擎可以并且将会下拉外部javascript文件。如果您不希望搜索引擎抓取您的任何javascript文件，可以将它们放在目录中，并使用robots.txt文件禁止整个目录。

通常，最佳做法是将您的javascript，css和static资产放在单独的子域（CNAME）上。然后你可以在根目录放一个robots.txt来阻止整个CNAME。