在我的网站上，我有一个通过jquery ajax调用生成的事物目录，随后会创建html。 对于我的knwoledge goole和其他机器人在页面加载后不知道dom更改，并且不会索引目录。
我想要实现的目标是为搜索机器人提供一个专用页面，该页面仅包含指向事物的链接。
将noscript标记添加到目录页面是否是一种解决方案？ （在noscript部分，我将链接到一个仅提供事物链接的页面。）
我查看了robots.txt和meta标签，但似乎都没有做我想要的。
答案 0 :(得分：1)
它看起来像you stumbled on the answer to this yourself，但无论如何我会为后人发布这个问题的答案：
实施Google的AJAX crawling specification。如果指向您网页的链接包含#!（以感叹号开头的URL fragment），Googlebot会将!之后的所有内容发送到特殊查询字符串参数_escaped_fragment_中的服务器
然后在服务器代码中查找_escaped_fragment_参数，如果存在，则返回静态HTML。
（我在this answer中详细介绍了一些细节。）