自动化集群和高并发Databricks集群

Question

Databricks允许为群集创建两种类型：高并发和标准。高并发不接受Scala代码...：-（.。该选项对交互式集群可见，但对自动集群不可见。

我关心的是一个流应用程序，其中提交了一份作业以执行物联网采集。因此，这将是一项工作，有关集群的问题是：高并发性还是标准并发性？

谢谢！

Answer 1

这取决于您是在作业定义中使用新的自动群集还是选择使用现有群集。自动化集群被认为是数据工程负载，不支持高并发性（因为为每个作业都创建了作业集群，所以这毫无意义）。