Jupyter Notebook-AccessControlException：权限被拒绝：user = livy

Question

我正在运行带有Spark / Livy的EMR集群，并想测试Spark结构化流。我正在使用Jupyter Notebook托管服务（通过Livy连接），但是当我在Jupyter中尝试以下代码时：

query = (wordCounts
.writeStream
.queryName("streamingDF")
.outputMode('complete')
.format('memory')
.start())

我收到以下错误：

  

调用o98.start时发生错误。   ：org.apache.hadoop.security.AccessControlException：权限被拒绝：user = livy，access = WRITE，inode =“ / mnt / tmp”：hadoop：hadoop：drwxr-xr-x

由于Livy似乎正在将临时数据写入HDFS，因此如何以及如何更改权限。 我认为使用“内存”选项可以将其写入驱动程序，而不是磁盘。