所以我正在开发一个ColdFusion网站，今天早上我们发现Google正在抓取我们的网站并关注cfc并收到500错误。我们使用cfc和ajax调用，因此不应该对它们进行爬网。我们如何解决这个问题？
答案 0 :(得分：5)
我能想到谷歌会为你的cfc编制索引的唯一原因是它会在你的网页中找到它们的链接。请记住，Google bot也可以在JavaScript代码中找到这些链接。您应该能够创建/修改robots.txt文件，以告知搜索引擎从索引中排除包含cfc的目录。
示例robots.txt条目：
User-Agent: *
Disallow: /cfc-directory/
Google僵尸程序（但不是所有搜索引擎）甚至可以支持某些模式匹配（reference）。因此，您可以通过执行以下操作告诉Google机器人不要将任何以.cfc结尾的文件编入索引：
User-agent: Googlebot
Disallow: /*.cfc$
快速搜索this similar question。其中@nosilleg提到ColdFusion cfajaxproxy生成的javascript代码包含指向cfc的链接（特别是/baseCFC/Statement.cfc。所以如果你在任何一个页面中使用它它还包含指向cfc的链接。