我正在搜索这个主题没有结果，所以我考虑提问。我知道有一个选项可以使用www.example.com/#?somecontent使AJAX加载页面“可爬行”。但是有一个选项（即Meta标签或robots.txt变量）说：“嘿，机器人，禁用javascipt！”？
它可以在例如：
中使用1）在线javascript游戏，有大量的javascript，没有什么特别的搜索引擎优化和机器人爬行（机器人内存和节省时间）
2）使用PHP，HTML，CSS（带有元标记更改等）为机器人构建网站。然后使用AJAX添加一些额外的功能（例如，仅重新加载内容，但不更改META TAGS），爬虫和机器人不需要分析。在这种情况下，机器人会看到元标记和内容，并且您可以阻止锚点的默认操作，并且用户仅通过AJAX重新加载内容，并且元标记在这种情况下是标准的。
PS）问题不在于：你可以做得更好，或者你可以用其他方式重建应用程序。它是关于：我们可以建议机器人禁用javascript。
答案 0 :(得分：1)
快速回答是不，你不能。
答案很长，如果您的内容有多个版本，请在一个链接中使用 Canonical link element ，该链接使用链接到未启用javascript的网页的JavaScript。您可以向网址追加一个参数，例如no_js=1，并通过服务器端删除使用Javascript的HTML的所有部分。
所以，是的，通过一些工作，你可以做到。