我大约有数百万个控制台构建日志。这些构建日志来自多个应用程序，因此它们差别很大，有些可能长达数千行，而有些则可能短至1行。原因包括编译错误，单元测试错误，构建脚本错误等。令我头疼的另一件事是，并非所有构建日志都包含失败原因。我一直在进行表达式匹配，但是它无法扩展到每天生成的日志数量。
因此这是一个问题：假设我可以访问所有控制台日志，并且可以过滤仅属于失败构建的控制台日志，并且给出了一组固定的可能的失败原因。另外，对于匹配正则表达式的每个错误，我已经有一些日志示例。我该如何设计一个系统，该系统接收一个我肯定知道它属于构建失败的日志文件，并输出最可能的错误和显示该错误的行？
我已经在线查看了各种解决方案，但是大多数解决方案都是针对服务器日志的，该服务器日志已经具有固定格式，而在我的用例中，格式却相差很大。