Question

当我在Mac上的Safari，Chrome或Firefox中“查看google.com/robots.txt的源代码（使用cmd-I）”时，我会看到：

<html>
  <head></head>
  <body>
    <pre style="word-wrap: break-word; white-space: pre-wrap;">…</pre>
  </body>
</html>

HTML来自哪里？

Google的漫游器文件只是一个例子-在所有浏览器中，所有文本文件的结果都相同。

我问是因为我正在编写一个Python程序来生成robots.txt和sitemap.txt文件，并且我想确保发送了正确的标头。

在源代码中看到HTML，使我担心标题不正确。

Google的robots.txt文件具有相同的HTML的事实使我确信它是正常的，但是我想知道为什么会这样。

自1995年以来，我一直在建设网站，不记得曾经注意到这种行为。

Answer 1

在浏览器中生成HTML，以供查看。它不是以这种方式发送的（例如使用curl来查看它或浏览器的网络分析功能）。

例如在Chrome中：菜单->更多工具->开发人员工具。然后，点击“网络”标签并刷新页面。