我们可以将Shark 0.9.1版本与Spark 1.1.0一起使用吗？

Question

我知道Shark已被Spark SQL包含，这是Apache Spark中的一个新模块。但我的问题是，我们可以使用现有的Shark和新的Spark版本吗？

Answer 1

根据其release notes，Shark 0.9.1仅支持Spark 0.9.1。

According to a mailing list post，没有正式版的Shark for Spark 1.0+。 Shark依赖于Spark的非公共接口，这些接口可能在0.9.1和1.1.0之间发生了变化，因此将Shark移植到Spark 1.0 +可能需要做大量的工作。