猪的性能测量

Question

我编写了一个Pig脚本，希望在Hadoop集群上执行它。我怎样才能测量总处理时间？是否有任何命令可以从开始到结束获得处理时间？

Answer 1

编辑：添加了time替代方案。

知道需要多长时间（以秒为单位）：

time pig <options>

另一种方法：

d1=$(date +%s)
pig <options>
d2=$(date +%s)
echo "$d2 - $d1" | bc

或者，在一行中：

d1=$(date +%s) ; pig <options> ; d2=$(date +%s) ; echo "$d2 - $d1" | bc

你也可以看一下猪的输出。当您在命令行中运行pig脚本时，在输出的末尾，您将看到：

HadoopVersion   PigVersion  UserId  StartedAt   FinishedAt  Features
...

然后您可以减去FinishedAt - StartedAt。