Classpath Databricks中过时的Jar

时间:2017-09-18 20:10:51

标签: apache-spark classpath spark-dataframe databricks

我正在尝试在附加了Jar的Databricks中运行一些代码。我得到的错误与类路径中的过时Jar相关联。我已经上传了最新的Jar,但显然过时的版本仍然在类路径的某个地方。有没有办法在Databricks中访问,查看或编辑类路径?

删除该群集并构建新群集会解决问题吗?

对于假设,我很熟悉课程路径。感谢

1 个答案:

答案 0 :(得分:1)

我明白了。 Scala笔记本,使用此代码:

val jarfiles = dbutils.fs.ls("dbfs:/FileStore/jars")

.map(_.path)

.filter(_.indexOf("your pattern") > -1)

jarfiles.foreach(dbutils.fs.rm(_))

替换"你的模式"在你的罐子的名字中有一个字符串(但不足以删除其他罐子)。

重新启动群集,繁荣