我正在尝试通过Java程序连接到远程Spark集群。
Spark版本为1.6.2
我确实尝试使用下面的代码获取SparkSession
SparkSession sparkSession=
SparkSession.builder().master("somepath").appName("SparkJavaPOC").getOrCreate();
但面对
线程“main”中的异常java.lang.NoClassDefFoundError： 组织/阿帕奇/火花/内部/记录
在运行时。我导入了spark-core_2.11-1.5.2 jar并在某处读取了org / apache / spark / internal / Logging不再可用于spark-core。
我需要一个解决方案，通过它可以连接到Spark群集，而无需通过Java程序更改spark版本。