具有Azure数据块的CDAP

Question

有人尝试过使用Azure数据砖作为CDAP作业处理的火花群集。 CDAP文档详细介绍了如何将其添加到Azure HDInsight，但是只是想知道是否有一种方法可以配置CDAP以指向数据砖Spark群集，甚至可能吗？或者这种集成需要特定的数据砖客户端连接器jar？如果有人有任何见解会有所帮助。

Answer 1

在Azure上没有对Databricks spark的现成支持。但是，也就是说，您可以开发一个新的Cloud Runtime，它能够将作业提交到Databricks spark集群。这是如何为Cloud Dataproc和EMR编写运行时扩展的示例。