我有一本关键字丰富的原创资料的电子书，我想添加到我的网站，以帮助提高搜索引擎排名。问题是我不希望任何人能够查看这些页面，但我仍然希望搜索引擎抓取它们。这是必要的，因为电子书内容是专有的。
如果有人在搜索引擎中输入我的某个网页上的特定文字字符串，我不希望Google将该网页显示为搜索结果，但可能会提供指向只能解锁的网页的链接通过登录和购买电子书页面。
我一直在关注Prerender.io，看看是否有可能在抓取工具请求时呈现乱码版本。在路由到实际的电子书内容页面之前，我不确定这将如何与Express.js中间件中的身份验证过程一起使用。我认为服务器可以根据用户或爬虫是否请求电子书页面来提供不同版本的页面。 但这有可能吗？或者我正在努力实现的建议或设计是什么？
谢谢。
答案 0 :(得分：0)
我担心的答案是：不要这样做，甚至不要尝试。
谷歌花费了二十年的时间，确保人们无法欺骗他们的抓取工具，你无法通过某些服务器设置欺骗他们。尝试向抓取工具提供与普通用户不同的内容最多不会起作用，更糟糕的是将您的网站标记为可疑并直接损害您的搜索引擎优化。
如果您想利用您的内容，请确保公开提供摘录，摘要和评论。这些是用户想要看到的东西，如果他们要购买产品并且他们非常适合搜索引擎优化，但不要试图让谷歌索引通常在付费墙后面的东西。