告诉Spark使用我想要的Breeze版本

时间:2016-08-19 17:33:02

标签: apache-spark scala-breeze

我使用https://github.com/plamere/spotipy/blob/master/examples/user_playlists_contents.py作为我希望使用Spark在集群中部署的算法。在Spark上运行我的算法时,我收到错误java.lang.NoSuchMethodError: breeze.linalg.sum$.helper_Double()Lbreeze/linalg/VectorizedReduceUFunc$VectorizeHelper;

sum()在本地使用我的算法时效果很好,有关此错误的问题Breeze但答案不能满足我:我确实需要使用Breeze 0.12,而不是Spark使用的版本。怎么办?我正在使用SBT和程序集来构建Spark使用的胖JAR。

0 个答案:

没有答案