我可以使用NOINDEX元标记存储页面吗？

Question

我正在做一个webwawler，现在我正在尝试关注robots.txt和元标记NOINDEX和NOFOLLOW。

NOFOLLOW说我不按照页面中的链接，而是NOINDEX？ 我理解不是在搜索页面上索引，但我不会进行任何搜索，只将页面存储在数据库中。

如果我存储在数据库中，或者仅适用于搜索，我会不尊重NOINDEX标记吗？

Answer 1

没有特别的理由不存储它。只要您没有将其编入索引并将其返回搜索结果中即可。除非您将其作为搜索结果返回，否则您不会不尊重NOINDEX的含义。