为什么网站管理员在尝试以Google格式提取时显示错误？

Question

我一直试图自己解决这个问题，但找不到解决这个问题的方法。就在最近，我更改了某些页面的元名称并且确实以谷歌的形式获取主页，但它显示内页错误。为什么＆＃34; Total robots.txt会收到错误＆＃34;我的页面https://www.paydaysunny.com/robots.txt正常。

Answer 1

我认为你应该创建一个没有内容的/robot.txt文件。默认情况下，允许所有类型的机器人使用。