如果用户未登录时网站上的主页有内容而用户登录时有其他内容，搜索引擎机器人是否能够抓取用户特定内容？
如果他们无法抓取，那么我可以复制网站其他部分的内容，以便在注册时提及他们需求的用户可以轻松访问。
我的猜测是否定的，但在做一些愚蠢的事情之前我宁愿确定。
答案 0 :(得分：2)
您不能认为抓取工具支持Cookie，但您可以识别抓取工具，并通过代码让抓取工具在您的网站中“登录”。但是，这将打开任何用户假装成为爬虫以获取登录区域中的数据。
答案 1 :(得分：0)
机器人将能够查看文档中的所有内容。如果文档中不存在该内容，则机器人将不会看到该内容。如果它存在于文档中但是从视图中隐藏，则爬虫将能够将其拾取。
答案 2 :(得分：0)
即使可以这样做，也会违反大多数搜索引擎的条款，以显示与任何用户在进入时获得的内容不同的抓取工具内容，并且可能导致您的网站被禁止使用该索引。
这就是为什么像expertsexchange这样的网站必须提供答案，如果你一直滚动到底部，即使他们试图使它看起来像你必须注册。 （这只有在您使用Google referer btw输入expertsexchange时才有可能），