实时数据分析

Question

有一个正在运行的应用程序，我需要从该应用程序中提取数据进行分析。我有几个问题：

如果在应用程序运行时生成信息日志，并打开文件进行读取并获取最新行，是否有任何干扰？正确的方法是什么？

当从正在主动记录应用程序数据的日志文件中读取时，我需要跟踪行，以便不获取重复的数据？最佳做法是什么？如果数据正在快速生成：每秒1000行。

Answer 1

看看“ flume”工具。它将为您处理所有事情。