我正在研究一个硕士论文项目，该项目旨在将自定义Map Reduce框架与类似的MR接口集成，但是自己的实现和管道，以及更高级别的语言框架作为PIG。
目前，MR主人和工人已与YARN集成，以便可以在YARN上启动此类工作。该框架是用C ++编写的，它运行OpenCL定义了Map和Reduce函数。
目的是使专有的MR框架可以在尽可能多的场景中使用，维护它自己的管道，对使用Hadoop Map Reduce的应用程序或框架进行最小的更改。
鉴于Hadoop项目的大范围，我需要一些指向资源，文献或文档的指示（Pig可以在Hadoop MR和Spark之上运行）或者可以考虑哪些选项。 （我正在读YARN，Pig等等，但是一些指针会非常有帮助）