抓取工具是否会跳过html小标签中的内容？

Question

我想知道small标记是否向抓取工具表明其内容不相关，因此会被跳过而不会被编入索引。

Answer 1

这取决于抓取工具的实现。

我不知道任何正式或非正式的标准，small标记会阻止内容被编入索引，doesn't appear mentioned by major search engines discussing control over what's indexed时The original Google search engine。

class="robots-nocontent"给予较大字体额外的权重 - 因此您可能会认为大字体被认为与更多相关，但这并不意味着较小的字体不会出现。得到索引。

没有标准可以防止部分网页被编入索引。对于可能在某些引擎上工作的方法，有{{3}}由雅虎引入（我认为只支持）雅虎 - 所以不幸的是我不希望它在其他引擎上工作。