Question

嗨，这是我在Stackoverflow中的第一个问题，请帮助。它关注htaccess文件和robot.txt文件。 10月份，我从之前的非WordPress网站创建了一个WordPress网站。我在现有站点的子域上构建了新站点，因此在构建新站点时，实时站点可以保持活动状态。

我在子域上构建的网站是实时的，但我担心旧的htaccess文件和机器人txt文件是否应该删除它们;我在新网站上创建了新的htaccess和robots.txt文件，并在那里留下了旧的htaccess文件。只是提到所有旧的内容文件仍然位于服务器下的一个名为“旧文件”的文件夹下，所以我假设这些不影响问题。以下是每个文件的内容：

我通过ftp filezilla点击'public html'来访问htaccess和robots.txt文件。我建的网站（htaccess详情如下）。 W3TC是我几天前安装的wordpress缓存插件，所以我不在这里查询W3TC：

# BEGIN W3TC Browser Cache
<IfModule mod_deflate.c>
<IfModule mod_headers.c>
    Header append Vary User-Agent env=!dont-vary
</IfModule>
<IfModule mod_filter.c>
    AddOutputFilterByType DEFLATE text/css text/x-component application/x-javascript application/javascript text/javascript text/x-js text/html text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/x-icon application/json
<IfModule mod_mime.c>
    # DEFLATE by extension
    AddOutputFilter DEFLATE js css htm html xml
</IfModule>
</IfModule>
</IfModule>
# END W3TC Browser Cache
# BEGIN W3TC CDN
<FilesMatch "\.(ttf|ttc|otf|eot|woff|font.css)$">
<IfModule mod_headers.c>
Header set Access-Control-Allow-Origin "*"
</IfModule>
</FilesMatch>
# END W3TC CDN
# BEGIN W3TC Page Cache core
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP:Accept-Encoding} gzip
RewriteRule .* - [E=W3TC_ENC:_gzip]
RewriteCond %{HTTP_COOKIE} w3tc_preview [NC]
RewriteRule .* - [E=W3TC_PREVIEW:_preview]
RewriteCond %{REQUEST_METHOD} !=POST
RewriteCond %{QUERY_STRING} =""
RewriteCond %{REQUEST_URI} \/$
RewriteCond %{HTTP_COOKIE} !(comment_author|wp\-postpass|w3tc_logged_out|wordpress_logged_in|wptouch_switch_toggle) [NC]
RewriteCond "%{DOCUMENT_ROOT}/wp-content/cache/page_enhanced/%{HTTP_HOST}/%{REQUEST_URI}/_index%{ENV:W3TC_PREVIEW}.html%{ENV:W3TC_ENC}" -f
RewriteRule .* "/wp-content/cache/page_enhanced/%{HTTP_HOST}/%{REQUEST_URI}/_index%{ENV:W3TC_PREVIEW}.html%{ENV:W3TC_ENC}" [L]
</IfModule>
# END W3TC Page Cache core
# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

我有7个重定向到新页面网址，我对这些测试没有任何问题，每个都有效。

#Force non-www:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www\.websiteurl\.co.uk [NC]

RewriteRule ^（。*）$ http://websiteurl/ $ 1 [L，R = 301]

上一个网站（旧网站的htaccess）：拒绝所有

我建立的网站（Robots.txt）：用户代理： * 禁止：/ wp-admin /

网页：

http://websitehomepageurl/sitemap_index.xml

上一个网站（Robots.txt）：用户代理： * 禁止：

请帮忙。我非常感谢你的时间。

非常感谢。

Answer 1

删除旧的robot.txt和htaccess。

Answer 2

嗨，谢谢你的反应微乎其微。我在别处得到了帮助。我在开发网站上添加了一个robots.txt文件，因此不允许使用机器人。我对其原始页面的所有附件进行了重定向。所有其他文件都已到位。我会留在那里。对那个做出回复的人，谢谢。但是要说我所要做的只是删除旧的机器人和htaccess文件是不正确的，因为它们仍然需要在宏伟的计划中。 Stackoverflow在网上有很好的声誉，因此在帮助其他人尝试解释时，他们可以理解你的建议背后的逻辑。我很高兴我没有接受你的建议，因为我本来可以找到一个更大的问题来解决。祝你有个美好的一天。

Answer 3

一点点跟进提示：除了通过robots.txt阻止内容之外，我建议您使用ON EACH PAGE

meta content =“noindex，noarchive，nofollow”name =“robots”（您需要将＆lt;和结束标记添加到此处）。

原因是有些机器人没有考虑robots.txt内容。

此外，我永远不会允许人或机器人看到旧的htaccess文件！如果人们可以阅读你的htaccess内容，你就会面临严重的安全问题。

关于htaccess和robots.txt

RewriteRule ^（。*）$ http://websiteurl/ $ 1 [L，R = 301]

http://websitehomepageurl/sitemap_index.xml

3 个答案: