Pyspark ImportError：没有名为spark_df_profiling的模块

Question

我正在pyspark databricks环境中尝试使用spark_df_profiling。我收到以下错误。

> pip install spark_df_profiling

from datetime import datetime
import spark_df_profiling
df = sql("select * from ab.data").cache()

ImportError: No module named 'spark_df_profiling'
---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
<command-2036534138125494> in <module>()
      1 from datetime import datetime
----> 2 import spark_df_profiling

我该如何解决问题？

Answer 1

对于Databricks，最好使用dbutils.library.installPyPI方法来安装软件包。

dbutils.library.installPyPI("spark_df_profiling")

import spark_df_profiling