什么版本的Scala可以支持Hortonwork HDP 2.1?

时间:2016-06-13 17:48:14

标签: scala hadoop mapreduce cascading scalding

我正在使用Scala 2.10.4构建Scalding作业。它成功地创造了这份工作。但是,当我在Hortonworks中运行该作业时,它会抛出以下异常。

enter image description here

根据一些答案,由于scala版本存在冲突,因此会出现此问题。

你能解释一下这个问题吗?我在我的Hortonworks中搜索了scala版本,但是找不到它。我做错了吗?

1 个答案:

答案 0 :(得分:1)

底部的堆栈跟踪显示您的作业会在HadoopUtils.getRootQueue处抛出,您尝试在.get实例上执行Option,该实例恰好是None。所以我不认为这是一个版本问题,而是你应该在选项上使用.getOrElse或模式匹配,并适当地处理None案例。

此外,您可以编写一个Scalding单元测试,以便在将作业提交到群集之前尽早发现这些错误。