带有CDH Kerberized集群的Apache Toree Scala

时间:2018-06-14 08:59:39

标签: scala apache-spark jupyter-notebook apache-toree jupyter-kernel

我用Apache Toree Scala内核测试Jupyter笔记本已经有一段时间了,但仍无法使其正常工作。

我的Scala内核现在只能进行简单的计算但不能连接到我的集群,尽管我的Jupyter笔记本是我的CDH 5.13.2 Spark 1.6集群网关之一...

当我键入一些与Spark相关的行时,例如: sc.parallelize(1 to 100).reduce(_+_),它总是提示如下:

Name: org.apache.spark.SparkException Message: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 6, <datanode>, executor 1): java.lang.RuntimeException: Stream '/jars/jars' was not found.

我不知道Stream '/jars/jars'的含义。我可以知道Stackoverflow中的任何用户以前是否遇到此问题?提前谢谢。

祝你好运, 鲁卡

0 个答案:

没有答案