大师，
在我们的网站上，我们通过Ajax调用加载相同的内容。 （当用户点击菜单时，只是为了防止再次重新加载整个页面，以改善用户体验）
所以这很好用，但实际上这个加载Ajax的内容实际上是原始内容的副本。
我可以阻止Google将此内容编入索引吗？
http://dinox-h.hu/en/gallery.php
在左侧菜单中，您可以看到链接：
例如：
答案 0 :(得分：6)
尝试在Ajax交付的页面上添加以下内容：
<meta name="robots" content="noindex,nofollow" />
这将告诉网站抓取工具不抓取该网页。您还可以在robots.txt中添加页面，如下所示：
User-agent: *
Disallow: /*?ajax=1
这会阻止任何带有?ajax=1的网址被编入索引（让机器人尊重您的robots.txt）。更好的解决方案还包括创建站点地图并告诉各种搜索引擎。
修改 提供Ajax内容的更好方法IMO将在通过Ajax请求您的页面时发送以下标头：
X-Requested-With: XMLHttpRequest
jQuery默认会执行此操作，因此如果您可以在服务器端进行检查，则可以提供常用内容，例如：没有模板。然后，您可以非常轻松地从同一URL提供不同的内容，具体取决于请求的类型。这也应该解决您的爬行问题，因为我怀疑爬虫会偶然发现它。