Question

在运行示例时 - 在这种情况下为LDA OneVsRestExample - 会出现一些问题。

首先：provided依赖关系需要更改为compile。那已经完成了。

<hadoop.deps.scope>compile</hadoop.deps.scope>
<hive.deps.scope>compile</hive.deps.scope>
<parquet.deps.scope>compile</parquet.deps.scope>

<dependency>
  <groupId>org.spark-project.spark</groupId>
  <artifactId>unused</artifactId>
  <version>1.0.0</version>
  <scope>compile</scope>
</dependency>
<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_${scala.binary.version}</artifactId>
  <version>${project.version}</version>
  <scope>compile</scope>

 ..etc

然后以下更难以诊断问题表面：

objc[85400]:     Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/cache/CacheLoader
    at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:73)
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:68)
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:55)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:919)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:918)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:918)
    at org.apache.spark.examples.ml.OneVsRestExample$.main(OneVsRestExample.scala:41)
    at org.apache.spark.examples.ml.OneVsRestExample.main(OneVsRestExample.scala)
Caused by: java.lang.ClassNotFoundException: com.google.common.cache.CacheLoader
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

我看过另一篇关于此Spark Cassandra NoClassDefFoundError guava/cache/CacheLoader的帖子。但答案基本上是一个非答案 - “它开始起作用，但我不确定为什么”。所以这个问题试图更系统地深入探讨这个问题。

错误显然是缺少依赖性。但是已经对整个发行版执行了完整的mvn package - 这是2.3.0-SNAPSHOT的主要内容。此外，reimport maven project在IJ进行。

所以这个问题的目的是要检查：其他“旋钮”会影响maven依赖 - 因此可能会转而试图解决缺少的类问题？

更新 spark-core代码库中显然发生了一些复杂体操，专门处理guava shading：以下是一些处理它的尝试：

https://github.com/apache/spark/pull/2876

https://github.com/apache/spark/pull/3658

目前尚不清楚Intellij中examples目前是否正在工作。进一步的提示（可能来自经验丰富的火花源开发商）将不胜感激。

NoClassDefFoundError：com / google / common / cache / CacheLoader从Intellij中的Master / Sources运行Spark示例时

0 个答案: