Docker全火花笔记本：在Scala中使用databricks spark-xml

Question

我正在使用Docker运行带有Spark和Scala内核的Jupyter Notebook，并希望像这样使用databrick's xml parser：

syslog(1, 'my message')

不幸的是，我收到以下错误消息：

val df = sqlContext.read
                   .format("com.databricks.spark.xml")
                   .option("rowTag", "page")
                   .load(fileName)

我想在运行Scala内核的Notebook中使用该软件包，并且有PySpark的解决方案。我本质上是在问与对此answer的评论所提出的问题相同的问题。

任何帮助将不胜感激。