无法在IBM DSX笔记本中使用Spark 2.0启动Scala 2.11

Question

尝试使用Scala 2.11 / Spark 2.0内核在IBM DSX上启动任何笔记本时，出现以下错误：

  

死内核内核已经死亡，自动重启失败。   内核无法重新启动。如果你不能   重新启动内核，你仍然可以保存笔记本，但是   在重新打开笔记本之前，运行代码将不再有效

我已经确保我的其他笔记本中的所有内核都已停止，并且我已经尝试更改Spark版本。我能够创建和启动Python / Spark笔记本。

Answer 1

如果将与Scala环境冲突的JAR文件放入~/data/libs/，则会发生这种情况。还有特定于版本的子目录。有关更多信息，请参阅DSX文档： https://datascience.ibm.com/docs/content/analyze-data/importing-libraries.html

从Python笔记本中，执行以下命令检查libs目录的内容：

!ls -ARF ~/data/libs/

如果您发现任何可疑内容，您也可以从Python笔记本中删除文件。例如：

!rm -f ~/data/libs/*.jar

然后重新启动Scala内核，看看是否有所作为。

有时，kernel log files中提供了有关跟踪问题的其他信息。使用以下命令从Python笔记本中列出Scala内核日志文件：

!ls $SERVICE_HOME/kernel-scala-*.log

然后使用以下方法获取日志文件的内容：

!cat $SERVICE_HOME/kernel-scala-<timestamp>.log