Question

我刚刚升级到Spark 2.1.0并决定用直线测试我的数据，但出于某种原因它给了我：

错误： org.spark_project.guava.util.concurrent.UncheckedExecutionException： java.lang.ClassNotFoundException：org.apache.spark.Logging已被删除在Spark 2.0中。请检查您的库是否与Spark兼容 2.0（state =，code = 0）

我重命名了旧目录，因此所有文件都是新的。我没有运行自己的代码，而是直接使用Spark。

以下是我遵循的步骤：

cd /usr/local/spark
./sbin/start-thriftserver.sh --master spark://REMOVED:7077 --num-executors 2 --driver-memory 6G --executor-cores 6 --executor-memory 14G --hiveconf hive.server2.thrift.port=10015 --packages datastax:spark-cassandra-connector:1.6.4-s_2.11 --conf spark.cassandra.connection.host=REMOVED --conf spark.cassandra.auth.username=REMOVED --conf spark.cassandra.auth.password=REMOVED
./bin/beeline -u jdbc:hive2://REMOVED:10015

所以我现在不知道该怎么办，有什么建议吗？

Answer 1

您还需要更新datastax:spark-cassandra-connector。请尝试：

--packages datastax:spark-cassandra-connector:2.0.0-M3-s_2.11

java.lang.ClassNotFoundException：org.apache.spark.Logging

1 个答案: