猪0.11编译速度慢吗？

Question

有没有人觉得在Pig 0.11上运行脚本会变慢？我在猪0.11和猪0.8的相同环境中运行脚本。猪0.8总是更快。

评论？

Answer 1

是不是因为你的LOAD语句USING PigStorage()匹配了很多文件？ Pig 0.11中的PigStorage()默认检查HDFS上的模式文件以查找匹配的文件。如果您正在阅读大量文件，这可能会非常慢。

使用x = LOAD '...' USING PigStorage('...','-noschema')。 使用 -noschema 将避免查找架构文件，您应该恢复速度。

更多信息here。