谷歌机器人在我的Tapestry应用程序中导致异常

Question

Google僵尸程序在我的tapestry 5应用程序中导致了很多错误。例如，最近我将组件ID从“select”更改为其他内容。由于我在日志中有很多错误（见下文），但对于用户来说一切正常。

我无法摆脱这个。我试图使用缓存，XHR请求等。似乎没有什么工作。你能帮我解决这个问题吗？我忽略了什么吗？提前谢谢。

30.11.2013 08:53:14 79499699 [TP-Processor16] ERROR TapestryModule.RequestExceptionHandler  - Processing of request failed with uncaught exception: Component profile/View:companycard.broadnavigation does not contain embedded component 'select'.
org.apache.tapestry5.ioc.util.UnknownValueException: Component profile/View:companycard.broadnavigation does not contain embedded component 'select'.

Answer 1

您可以调整tapestry的异常报告，以便为googlebot和其他抓取工具静默失败。您可以通过注入Request并检查User-Agent标题来测试大多数漫游。

• http://tapestry.apache.org/overriding-exception-reporting.html
• http://user-agent-string.info/list-of-ua/bots
• http://en.wikipedia.org/wiki/User_agent

Answer 2

您可以制定一个robots.txt来告诉googlebot不要关注您的ajax网址。由于所有ajax URL都包含:个字符，因此您可以执行以下操作：

的robots.txt

User-agent: *
Disallow: \*:*

我不确定提交网址的常见模式。我认为告诉googlebot忽略提交网址会更难。