Question

我正在尝试在jupyter笔记本中使用Spark深度学习库（https://github.com/databricks/spark-deep-learning）。

当我尝试在jupyter笔记本中“导入sparkdl”时，出现错误“找不到模块”。

当我在cli中运行以下命令时

pyspark --packages databricks:spark-deep-learning:1.5.0-spark2.4-s_2.11

我能够在spark外壳及其工作中导入sparkdl。

如何在jupyter笔记本中使用该库？

Answer 1

您可以检查以下几点：

在jupyter笔记本计算机的单元格中使用%conda list|grep "sparkdl"，以检查是否已根据需要安装 sparkdl 。
虚拟环境。 sparkdl 是否已安装到另一个虚拟环境中？

希望这对您有帮助。

Answer 2

这是我与PySpark 2.4一起使用的代码段。您需要连接到网络才能安装该软件包。

# Import libraries
from pyspark.sql import SparkSession

# Creating SparkSession
spark = (SparkSession
            .builder
            .config('spark.jars.packages', 'databricks:spark-deep-learning:1.5.0-spark2.4-s_2.11')
            .getOrCreate()
)

# Import Spar-Deep-Learning-Pipelines
import sparkdl

无法在jupyter笔记本中导入sparkdl

2 个答案: