可以在搜索引擎中找到并抓取其网站上的专用IP地址吗？

Question

我有一个VPS。我在该IP地址上安装了Drupal。我的网站没有注册URL。 IP地址上的网站仅供个人参考。

如果没有传统的网址，我的IP地址是否可以在搜索引擎上编入索引？它会被抓获吗？

我没有从其他VPS平台上的其他域名指向它的A记录。据我所知，我是唯一一个知道这个IP地址的人，甚至是去那里添加或引用内容的人。

Answer 1

我知道搜索引擎有三种方式可以了解网站的存在。

1. 您直接向他们提交域名。
2. 其他人链接到域名。
3. 搜索引擎会监视所有域名注册（Google可以轻松地执行此操作，因为他们自己运行DNS），并尝试使用标准前缀（例如www）。

似乎没有自动方法来发现带有内容的IP地址，除非有人链接到它。

如果它纯粹是为了个人参考而你想确定没有其他人可以访问它，那么你应该实现安全性。不要只依靠没有人知道IP。

Answer 2

  

如果没有传统的网址，我的IP地址是否可以在搜索引擎上编入索引？

是的，如果您可以从外部访问它，那么搜索引擎也可以。如果您不希望将其编入索引，请添加一个“robots.txt”，请求不对该网站编制索引。请记住，爬虫不必尊重这一点，但主要的那些。

至于搜索引擎如何发现未在其他地方编入索引的IP地址，这可能是我们永远不会知道的“秘密酱”的一部分。也许您之前已经使用过您的IP，并且之前已将其编入索引;如果是这样，一个搜索引擎可能会期待旧网站，但会很乐意为你的新网站编制索引。

或者，也许同一网络中的其他IP地址正在使用中，搜索引擎会“快速尝试”查看它是否响应端口80（http）或443（https）。如果他们这样做，它会被添加到他们的索引中（或者，如果你的robots.txt请求它，请不要抓取列表）。

如果您特别不希望搜索引擎看到您的内容，您可以将默认主页设置为空白，并将Drupal安装放在子目录中。然后，搜索引擎将没有任何内容可以与空白主页进行索引。