据我所知，这两个软件包为Apache Spark提供了类似但大多不同的包装函数。 Sparklyr更新，仍然需要在功能范围内发展。因此，我认为当前需要使用这两个软件包来获得全部功能。
由于两个软件包实际上都包含了对scala类的Java实例的引用，我猜应该可以并行使用这些软件包。但它真的可能吗？你最好的做法是什么？
答案 0 :(得分：1)
这两个软件包使用不同的机制，并且不是为实现互操作性而设计的。它们的内部设计采用不同的方式，并且不会以相同的方式公开JVM后端。
虽然人们会想到一些解决方案，该解决方案允许与持久性元存储进行部分数据共享（想到使用全局临时视图），但是它的应用程序将非常有限。
如果同时需要，我建议您使用永久存储将管道分成多个步骤，并在这些步骤之间传递数据。