在查看任何内容之前为需要登录的网站制作搜索引擎抓取工具的站点地图

Question

我有一个php mysql网站，要求用户在第一页（主页）注册，然后才能浏览网站内容。如果用户未登录并且仅在登录时显示内容，则每个页面都会生成一个登录表单。唯一可以注册的IP是我大学的无线网络。

所以我需要有一个站点地图或某种其他方式，以便抓取工具（每个搜索引擎）都可以查看需要登录的网站内容。 请仅以接受或道德的方式发布。

我当前没有在我的网站内搜索，因此用户将无法通过它找到内容，因此我希望他们可以轻松地通过搜索引擎来搜索引擎＆＃34;搜索文本mydomain.com＆＃34; 。

我看了这个 this stackoverflow question但无法找到解决方案。

Answer 1

也许谷歌自定义/网站/企业搜索是一个选项：

http://www.google.com/enterprise/search/products_gss.html

它可以访问受保护的内容：

http://support.google.com/gsa/bin/answer.py?hl=en&answer=15855

Answer 2

我相信你指的是一个内联网。为只能为某些用户查看的域创建XML站点地图，元标记或robots.txt文件是完全多余的。你根本不需要。如果他们有登录帐户，他们必须知道该网站存在。

这就像给你想象中的朋友一个名字。 ;）

Answer 3

只有授权用户才能看到的内容，任何其他人都不应该看到，包括搜索引擎。

如果您想让用户搜索您的网站，您应该在用户区添加搜索功能。这与Goodle或任何其他搜索引擎无关。