这是一个两部分问题。
每个父页面都链接到第一个子页面。他们的父页面不会有任何内容。它们将用作主菜单链接,站点URL结构和站点层次结构。 我的网站(wp)结构如下:
问题:
答案 0 :(得分:0)
这将对你的SEO产生影响。如果您没有明确允许robots.txt
文件中的子页面,那么搜索引擎(至少遵守robots.txt
的网站)将完全没有抓取该网站。
在robots.txt
中获取搜索引擎的所有流量,您需要将代码设置为:
User-agent: *
allow: /Parent 1/Child A
allow: /Parent 2/Child A
allow: /Parent 3/Child A
allow: /Parent 1/Child B
allow: /Parent 2/Child B
allow: /Parent 3/Child B
allow: /Parent 1/Child C
allow: /Parent 2/Child C
allow: /Parent 3/Child C
User-agent: *
Disallow: /Parent 1
Disallow: /Parent 2
Disallow: /Parent 3
网站仍会抓取网页并使用它们对网页进行排名,但它们不会对搜索结果中为非索引设置的网页进行排名。他们会对从这些页面接收链接的任何页面进行排名。
基本上搜索引擎必须查看每个页面,以确保您不是spamdexing或根据其服务条款做任何事情。
您必须小心这些设置,因为根据Google:
要访问您网站上的prevent all robots from indexing a page,请将以下元标记放入您网页的<head>
部分:
<meta name="robots" content="noindex">
当我们在网页上看到noindex元标记时,即使其他网页链接到该网页,Google也会从搜索结果中完全删除该网页。但是,其他搜索引擎可能会以不同方式解释此指令。因此,指向该网页的链接仍会显示在其搜索结果中。
其他说明
基本上,搜索引擎希望为最终用户提供他们正在搜索的链接。他们通过浏览器,Cookie,分析软件以及其他各种内容(例如插件,链接,引荐和页面中的链接)跟踪用户,以确定相关内容。通过在其索引中放置一个页面,其中包含关键字在内容中,这些关键字不会将人员传递到他们正在寻找的页面,如果页面与他们的搜索无关,则存在访问者“反弹”的风险。如果他们反弹,那么搜索引擎(主要是谷歌)将不会认为该页面是相关的,并且会对该页面(以及随后的网站)进行降级。