Question

我正在为我的网站制作一个robot.txt。任何人都可以说我正确地做了吗？如果我错了，请告诉我如何以正确的形式书写。 admincp ， adminpp 等是托管服务器中的文件夹：

User-agent: *
Disallow: /admincp/
Disallow: /adminpp/
Disallow: /Advertise with us/
Disallow: /ajax/
Disallow: /banner/
Disallow: /cont_img/
Disallow: /corcel/
Disallow: /css/
Disallow: /fbold/
Disallow: /images/
Disallow: /img/
Disallow: /js/
Disallow: /pic/
Disallow: /Scripts/
Disallow: /textpimg/
Disallow: /thumb_uploadtopics/
Disallow: /upload_p1/
Disallow: /uploadtopics/

Answer 1

您可以阅读本文，以便更好地掌握编写Robots.txt

http://seoroi.com/seo-faq/robotstxt-what-it-is-why-its-used-and-how-to-write-it/

例如，您可以写：

User-agent: *
Disallow: /src/
Disallow: /cgi-bin/
Disallow: /~zohaib/
Disallow: /temp/

是的，你似乎正确地做到了。

Answer 2

如果你正确地写了你的文件夹名称和页面名称比你正确，没有我在你的robots.txt文件中看到任何问题。

如果您想知道某些指示。

user-agent：* - ＆gt;意味着你允许所有搜索引擎机器人抓取。

禁止：---＆gt;表示您不希望访问者访问哪个文件夹和页面。

制作robots.txt

2 个答案:

如果您想知道某些指示。