制作个人资料搜索引擎 - 可搜索？

Question

在社交网络上，对于用户个人资料，我们如何制作个人资料搜索引擎 - 如果帐户所有者为每个人设置个人资料隐私，则可以搜索？是否像在页面中添加机器人标签一样简单？然后，如果用户更改隐私以使其无法搜索，我们会删除标签吗？我需要在我的网站上实现此功能，但我不确定从哪里开始事件？

Answer 1

每个个人资料都需要有一个唯一的网址。这可以通过不同的方式完成（如mod重写，ASP.NET路由：http://msdn.microsoft.com/en-us/library/cc668201.aspx等）。如果页面不应显示/不公开，则当搜索引擎尝试查看时，会将其重定向到显示该配置文件无法公开显示的页面。

Answer 2

当然，您要解决的一件事是Robots exclusion protocol（又名robots.txt），它指定搜索引擎抓取工具应忽略哪些路径;您应该能够根据用户偏好更新此设置，以禁止将来抓取。

您还可以查看Google的Sitemaps功能;这样，您就可以向Google推荐 - 即使是更改网页的列表 - Google应该抓取哪些网址（在您的情况下是您的用户个人资料的网址）。正如他们所指出的，这不能保证每个URL都会被抓取，但它应该有所帮助。

我没有答案，而且我很想知道更多关于要求搜索引擎删除已经抓取过的网址的一些协议。据我所知，从robots.txt和sitemap.xml中删除页面不会立即让Google从其索引中删除该页面，但只会在搜索引擎决定它过期时慢慢删除。另一方面，您的用户可能希望他们的页面在检查特定首选项后立即无法搜索。您可能只需要向用户介绍这种区别，但我也很好奇他们是否采用编程方式来处理这种情况。 （例如，我相信Twitter有一种方法可以让Google在删除搜索结果后停止在推文中返回推文。）