在robots.txt上停用一些网址

时间:2017-01-24 14:51:37

标签: robots.txt

我的网站包含以下风格的网址:

https://www.example.com/16546/slug-title

要在robots.txt中添加哪些规则来禁用这些网址?

我想保留公开网址https://www.example.com/terms

2 个答案:

答案 0 :(得分:0)

您可以在robots.txt中使用通配符,但这不适用于您的网址格式/<id>/<slug>

如果您使用格式/article/<id>/<slug>,它可以使用(未​​测试):

Disallow: /article

答案 1 :(得分:0)

如果您可以阻止路径以import { Component, OnInit } from '@angular/core'; import { FormArray, FormBuilder, FormControl, FormGroup, Validators } from '@angular/forms' @Component({ ... }) export class BlaBlaComponent implements OnInit { form: FormGroup; name: FormControl; sortItem: FormArray; constructor(private readonly formBuilder: FormBuilder) { } ngOnInit(): void { this.name = this.formBuilder.control('', [Validators.required]); this.sortItem = this.formBuilder.array([this.initSort()]); this.form = this.formBuilder.group({ name: this.name, sortItem: this.sortItem }); } initSort() { return this.formBuilder.group({ locationName: ['', [Validators.required]], locationItems: this.formBuilder.array([ this.initSortItems() ]) }) } initSortItems() { return this.formBuilder.group({ itemName: ['', [Validators.required]], itemPicture: ['', []], }) } addSort() { this.sortItem.push(this.initSort()); } addSortLocationItem(i: number, t: number) { const control = this.sortItem.get(`${i}.locationItems`) as FormArray; control.push(this.initSortItems()); } } - 0开头的所有网址,则可以使用:

9

这将阻止像

这样的网址
Disallow: /0
Disallow: /1
Disallow: /2
Disallow: /3
Disallow: /4
Disallow: /5
Disallow: /6
Disallow: /7
Disallow: /8
Disallow: /9
https://www.example.com/1
https://www.example.com/16