我已经生成了robots.txt文件,其内容如下所示
User-agent: *
Disallow: /portfolio/web-application-for-core
Disallow: /portfolio/amazon-fba
Disallow: /portfolio/automated-tracking-number
Disallow: /portfolio/update-quantity-on-amazon
Disallow: /portfolio/add-products-to-amazon
Disallow: /portfolio/application-to-set-discount
Disallow: /portfolio/download-ebay-orders
Disallow: /portfolio/create-and-add-new-listings
Disallow: /portfolio/sync-quantity-on-ebay
Disallow: /portfolio/automated-tracking-number
Disallow: /portfolio/application-which-connects
但是当我通过浏览器访问它时,输出将显示
sitemap: http://cdn.attracta.com/sitemap/1295818.xml.gz
只是想知道上面的文本如何理解为下面的链接
答案 0 :(得分:0)
这意味着所有搜索引擎机器人都将跳过以/portfolio/web-application-for-core
开头的网址以及disallow
中提到的其他网址。即,任何以/portfolio/web-application-for-core
开头的网址都不会被漫游器访问。
假设您的网站为 https://example.com 现在您的所有网站都将被访问,但不允许访问的网站除外。 https://example.com/portfolio/web-application-for-core 。
的更多信息