如何使用Hadoop测量日志中的方法所花费的时间？

Question

我想测量日志中方法调用的平均时间。总是有多个请求发送到该方法，并且我记录了方法调用的开始和结束的时间戳。我也有线程ID，所以我可以跟踪每个电话。使用Hadoop最简单的方法是什么？我正在使用Flume来捕获数据。可以使用PIG脚本，Solr Cloud，Spark或其他东西。