我有一个网站，用户可以输入他们的个人资料和密码保护某些细节。我希望搜索引擎抓取配置文件的“未受保护”部分（因用户而异）。与在Facebook中输入用户名称的方式类似，他们的Facebook个人资料会出现在搜索结果中。我是否必须执行任何特殊操作以确保机器人不会抓取受密码保护的部分，但仍会抓取（始终是公共的）用户名？ 我不确定这是否是一个问题，但我想更新我的robots.txt以允许这个。
另外，如何确保机器人可以使用用户名（以安全的方式）？我是否必须创建一个包含名称列表的单独目录，或者有更好的方法吗？
感谢您的任何建议
答案 0 :(得分：2)
搜索引擎只会为匿名用户看到的内容编制索引。如果您还没有，我会创建一个列表页面来浏览您只显示您想要的数据的用户配置文件。这可确保您拥有的每个userProfile.aspx?uid=XXXXXX都存在一个链接。搜索引擎蜘蛛将无法看到密码保护背后的任何数据。
我还会添加一个站点地图，以确保搜索引擎蜘蛛到达列表页面。不要以为Google会神奇地找到您的所有网页，但通常会根据您内容的链接进行查找。将网站地图提交给Google。
关于网站地图和搜索结果的修改
为了让蜘蛛抓取搜索结果，我会在站点地图中指定一个条目，将蜘蛛指向显示全部的搜索结果页面（例如search.aspx？param = all）。
答案 1 :(得分：1)
您无需做任何事情。只要您未在robots.txt上明确禁止，搜索机器人就无法访问受保护的网页，而他们只会在没有问题的情况下访问受众网站