时间:2010-11-11 02:41:08

标签: logging etl log-analysis

我需要从不同类型的日志文件中收集和存储大量数据,但之前必须过滤某些字段以仅提取必要的信息。所以我正在考虑使用ETL工具为我做污垢服务的可能性。我的想法是构建一个基于文件连接器,编程或自定义转换过程的解决方案,最后在linux机器中部署此解决方案,以便能够即时查看文件,提取所需信息并将其存储在数据库中,例如。

所以我的问题是。什么开源工具更适合,更灵活,更适合这项工作的KISS?

Scriptella,Kettle,Talent还是其他?

同样,对于使用日志/文本文件作为事实上的工具?

男子气概的意图和目标是创建一个有效的解决方案,以区域日志格式观察,提取日志和存储数据。

THX!

1 个答案:

答案 0 :(得分:1)