在另一个框架上执行Pig

Question

据我所知，Pig Latin是一种数据流语言。从这个意义上讲，理论上可以在任何框架中执行Pig Latin，但是它应该在Hadoop环境中执行。切换Pig Latin在不同的框架上运行有多难？是否有任何扩展点，或者Pig Latin是否与Hadoop紧密耦合？

Answer 1

PigLatin与Hadoop紧密结合。基本上，PigLatin脚本被解释为一系列Hadoop MapReduce作业，并没有太多方法来交换底层数据计算层。

您可以编写自定义加载程序和自定义编写器以从自定义数据存储加载和存储，但最终它仍在启动Hadoop MapReduce作业。