猪脚本最短执行时间

Question

我正在学习Pig，我正在Hortonworks Sandbox中执行我的脚本。从一开始就困扰我的是，Pig脚本的最短执行时间似乎至少为30-40秒。是因为我使用的是Hortonworks Sandbox还是Pig脚本的常态？有没有办法减少执行时间，因为这确实减缓了我的学习进度？如果执行时间正常可以解释一下发生了什么，为什么会这样？

PS

我为Hortonworks虚拟机分配了2GB RAM。只是提到我目前只在小数据集上执行简单的脚本。

Answer 1

如果你在本地模式下执行pig（pig -x local），它会运行得更快但不会执行map-reduce而不会访问hdfs - 这对学习很有帮助！

Answer 2

是的，对于Pig来说30-40秒是绝对正常的，因为它在编译作业，启动JVM等方面有很大的开销。 如其他答案中所述 - 您可以尝试以本地模式运行。对于包含仅几行数据的输入的简单作业，通常需要大约15秒。我的Cloudera VM分配了4G的RAM，顺便说一句。