Googlebot将字符串索引为Javascript中的URL

Question

在我的网站上，我有Javascript代码：

$(function() {
    $("#ratingComment").webwidget_rating_simple({
        rating_star_length: '5',
        rating_initial_value: '',
        rating_function_name: '',
        directory: '/images/raty'
    });
});

Googlebot索引＆amp;尝试转到URL'/ images / raty'。但是，当然，这个URL不存在。

我可以禁用这样的网址索引吗？由于此问题，我在Google网站管理员中收到了数以千计的错误。

Answer 1

如果您想阻止Googlebot或其他搜索抓取工具访问或向目录发出请求，您始终可以在robots.txt文件中添加条目。

在这种情况下，我可能会限制所有用户代理：

User-Agent: *
Disallow: /images/raty

这会阻止任何尊重robots.txt的抓取工具访问与路径/images/raty匹配的任何内容。请注意，它不仅仅是特定路径，而且还包括与该字符串匹配的所有URL。

您可能需要查看Google's Robots.txt Support Page了解详情。