如何使用databricks-connect在本地执行Spark代码？

Question

是否可以使用databricks-connect在本地执行Spark代码？

原因是，我想在CI / CD管道中执行一些测试，而无需建立集群并运行。

Answer 1

任何databricks-connect都不需要运行的集群。 如果您不使用任何特定于数据块的代码（例如dbutils），则可以在本地运行spark并对其执行-假设您仍然可以访问所需的数据源。