标签: web-crawler google-webmaster-tools google-crawlers noindex
在我的网站上修复了“noindex”问题后,我的所有子网页都未能被Google抓取,我使用Google网站管理员重新索引网站(无需等待)。但它只适用于主页,但我也要求重新抓取任何直接链接的页面。
子页面示例:
http://www.trophit.com/index.php/what-is-trophit/
如果我手动告诉GW抓取每个网页的网址,那么它会这样做,但这是不可接受的。有些东西仍然阻止谷歌自己正确地抓取整个网站...任何想法?这是一个wordpress网站。
感谢