Question

我想在群集上运行Spark Streaming程序。尽管我的程序在我的机器上本地运行正确，但运行群集问题。事实上，我得到这个错误：

java.lang.NoSuchMethodError: breeze.linalg.squaredDistance$.distanceFromDotAndSub(Lbreeze/generic/UFunc$UImpl2;Lbreeze/generic/UFunc$UImpl2;)Lbreeze/generic/UFunc$UImpl2;

为什么它不在群集上时在本地运行？！

我添加了 breeze 依赖关系，如下所示：

<dependency>
  <groupId>org.scalanlp</groupId>
  <artifactId>breeze_${scala.version}</artifactId>
  <version>0.11.1</version>
  <scope>compile</scope>
</dependency>

Answer 1

这可能是因为依赖在本地类路径中可用，但在工作节点上不可用。制作一个包含依赖关系的胖/超级jar，然后尝试。

参考this

java.lang.NoSuchMethodError：breeze.linalg.squaredDistance

1 个答案: