如何修复databricks在开发中使用的databricks上pyspark.dbutils的使用？

Question

我们使用databricks connect开发了代码，并使用了pyspark.dbutils import DBUtils 中的，将代码打包到wheel文件中的databricks时，它失败，并出现错误，找不到pyspark.dbutils模块。

不存在pip安装pyspark.dbutils。

该如何解决？

Answer 1

Dbutils应该已经与databricks-connect一起可用，因此请使用以下脚本将其导入：

from pyspark.sql import SparkSession
from pyspark import dbutils
import argparse

spark = SparkSession.builder.getOrCreate() 

setting = spark.conf.get("spark.master")
if "local" in setting:
    from pyspark.dbutils import DBUtils
    dbutils = DBUtils(spark.sparkContext)
else:
    print("Do nothing - dbutils should be available already")