Question

我正试图从https://medium.com/linagora-engineering/making-image-classification-simple-with-spark-deep-learning-f654a8b876b8复制一个深度学习项目。我正在研究Spark 1.6.3版本。我已经安装了keras和tensorflow。但每次我尝试从sparkdl导入它都会引发错误。我在Pyspark工作。当我运行时： -

from sparkdl import readImages

我收到此错误： -

File "C:\Users\HP\AppData\Local\Temp\spark-802a2258-3089-4ad7-b8cb- 
6815cbbb019a\userFiles-c9514201-07fa-45f9-9fd8- 
c8a3a0b4bf70\databricks_spark-deep-learning-0.1.0-spark2.1- 
s_2.11.jar\sparkdl\transformers\keras_image.py", line 20, in <module>
ImportError: cannot import name 'TypeConverters'

有人可以帮忙吗？

Answer 1

这不是一个完整的解决方案，因为我还无法从jupyter笔记本中的sparkdl导入内容，但是！

readImages是pyspark.ml.image包中的函数

因此要导入它，您需要：

from pyspark.ml.image import ImageSchema

使用它：

imagesDF = ImageSchema.readImages("/path/to/imageFolder")

这将为您提供图像的数据框，其中包含“图像”列

您可以这样添加标签列：

labledImageDF = imagesDF.withColumn("label", lit(0))

但请记住从functions导入pyspark.sql以使用lit函数

from pyspark.sql.functions import *

希望这至少会有所帮助

Spark深度学习导入错误

1 个答案: