Spark shell无法启动。我们正在使用cloudera cdh 5.14.2和java 1.8.0_91。我们不确定哪个jar文件解压缩有问题。
$ spark2-shell --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.2.0.cloudera1
/_/
Using Scala version 2.11.8, OpenJDK 64-Bit Server VM, 1.8.0_91
Branch HEAD
Compiled by user jenkins on 2017-07-13T00:28:58Z
Revision 39f5a2b89d29d5d420d88ce15c8c55e2b45aeb2e
Url git://github.mtv.cloudera.com/CDH/spark.git
Type --help for more information.
Spark shell无法启动
$ spark2-shell SLF4J：类路径包含多个SLF4J绑定。 SLF4J：在[jar：file：/usr/lib/zookeeper/lib/slf4j-log4j12-1.7.5.jar！/org/slf4j/impl/StaticLoggerBinder.class]中找到绑定 SLF4J：在[jar：file：/usr/lib/flume-ng/lib/slf4j-log4j12-1.7.5.jar！/org/slf4j/impl/StaticLoggerBinder.class]中找到绑定 SLF4J：在[jar：file：/usr/lib/parquet/lib/slf4j-log4j12-1.7.5.jar！/org/slf4j/impl/StaticLoggerBinder.class]中找到绑定 SLF4J：有关解释，请参阅http://www.slf4j.org/codes.html#multiple_bindings。 SLF4J：实际绑定的类型为[org.slf4j.impl.Log4jLoggerFactory] 线程＆＃34; main＆＃34;中的例外情况java.lang.IllegalArgumentException：MALFORMED 在java.util.zip.ZipCoder.toString（ZipCoder.java:58） 在java.util.zip.ZipFile.getZipEntry（ZipFile.java:566） 在java.util.zip.ZipFile.access $ 900（ZipFile.java:60） 在java.util.zip.ZipFile $ ZipEntryIterator.next（ZipFile.java:524） at java.util.zip.ZipFile $ ZipEntryIterator.nextElement（ZipFile.java:499） at java.util.zip.ZipFile $ ZipEntryIterator.nextElement（ZipFile.java:480） 在scala.reflect.io.FileZipArchive.x $ 1 $ lzycompute（ZipArchive.scala：135） 在scala.reflect.io.FileZipArchive.x $ 1（ZipArchive.scala：123） 在scala.reflect.io.FileZipArchive.root $ lzycompute（ZipArchive.scala：123） 在scala.reflect.io.FileZipArchive.root（ZipArchive.scala：123） 在scala.reflect.io.FileZipArchive.iterator（ZipArchive.scala：152） 在scala.collection.IterableLike $ class.foreach（IterableLike.scala：72） 在scala.reflect.io.AbstractFile.foreach（AbstractFile.scala：91） 在scala.tools.nsc.util.DirectoryClassPath.traverse（ClassPath.scala：277） 在scala.tools.nsc.util.DirectoryClassPath.x $ 15 $ lzycompute（ClassPath.scala：299） 在scala.tools.nsc.util.DirectoryClassPath.x $ 15（ClassPath.scala：299） 在scala.tools.nsc.util.DirectoryClassPath.packages $ lzycompute（ClassPath.scala：299） 在scala.tools.nsc.util.DirectoryClassPath.packages（ClassPath.scala：299） 在scala.tools.nsc.util.DirectoryClassPath.packages（ClassPath.scala：264） 在scala.tools.nsc.util.MergedClassPath $$ anonfun $ packages $ 1.apply（ClassPath.scala：358） 在scala.tools.nsc.util.MergedClassPath $$ anonfun $ packages $ 1.apply（ClassPath.scala：358） 在scala.collection.Iterator $ class.foreach（Iterator.scala：893） 在scala.collection.AbstractIterator.foreach（Iterator.scala：1336） 在scala.collection.IterableLike $ class.foreach（IterableLike.scala：72） 在scala.collection.AbstractIterable.foreach（Iterable.scala：54） 在scala.tools.nsc.util.MergedClassPath.packages $ lzycompute（ClassPath.scala：358） 在scala.tools.nsc.util.MergedClassPath.packages（ClassPath.scala：353） 在scala.tools.nsc.symtab.SymbolLoaders $ PackageLoader $$ anonfun $ doComplete $ 1.apply $ mcV $ sp（SymbolLoaders.scala：269） 在scala.tools.nsc.symtab.SymbolLoaders $ PackageLoader $$ anonfun $ doComplete $ 1.apply（SymbolLoaders.scala：260） 在scala.tools.nsc.symtab.SymbolLoaders $ PackageLoader $$ anonfun $ doComplete $ 1.apply（SymbolLoaders.scala：260） 在scala.reflect.internal.SymbolTable.enteringPhase（SymbolTable.scala：235） 在scala.tools.nsc.symtab.SymbolLoaders $ PackageLoader.doComplete（SymbolLoaders.scala：260） 在scala.tools.nsc.symtab.SymbolLoaders $ SymbolLoader.complete（SymbolLoaders.scala：211） 在scala.reflect.internal.Symbols $ Symbol.info（Symbols.scala：1514） 在scala.reflect.internal.Mirrors $ RootsBase.init（Mirrors.scala：256） 在scala.tools.nsc.Global.rootMirror $ lzycompute（Global.scala：73） 在scala.tools.nsc.Global.rootMirror（Global.scala：71） 在scala.tools.nsc.Global.rootMirror（Global.scala：39） at scala.reflect.internal.Definitions $ DefinitionsClass.ObjectClass $ lzycompute（Definitions.scala：257） 在scala.reflect.internal.Definitions $ DefinitionsClass.ObjectClass（Definitions.scala：257） 在scala.reflect.internal.Definitions $ DefinitionsClass.init（Definitions.scala：1394） 在scala.tools.nsc.Global $ Run。（Global.scala：1215） 在scala.tools.nsc.interpreter.IMain.scala $ tools $ nsc $ interpreter $ IMain $$ _ initialize（IMain.scala：132） 在scala.tools.nsc.interpreter.IMain.global $ lzycompute（IMain.scala：161） 在scala.tools.nsc.interpreter.IMain.global（IMain.scala：160） 在scala.tools.nsc.interpreter.ILoop.command（ILoop.scala：680） 在scala.tools.nsc.interpreter.ILoop.processLine（ILoop.scala：395） 在org.apache.spark.repl.SparkILoop $$ anonfun $ initializeSpark $ 1.apply $ mcV $ sp（SparkILoop.scala：38） 在org.apache.spark.repl.SparkILoop $$ anonfun $ initializeSpark $ 1.apply（SparkILoop.scala：37） 在org.apache.spark.repl.SparkILoop $$ anonfun $ initializeSpark $ 1.apply（SparkILoop.scala：37） 在scala.tools.nsc.interpreter.IMain.beQuietDuring（IMain.scala：214） 在org.apache.spark.repl.SparkILoop.initializeSpark（SparkILoop.scala：37） 在org.apache.spark.repl.SparkILoop.loadFiles（SparkILoop.scala：98） 在scala.tools.nsc.interpreter.ILoop $$ anonfun $ process $ 1.apply $ mcZ $ sp（ILoop.scala：920） 在scala.tools.nsc.interpreter.ILoop $$ anonfun $ process $ 1.apply（ILoop.scala：909） 在scala.tools.nsc.interpreter.ILoop $$ anonfun $ process $ 1.apply（ILoop.scala：909） 在scala.reflect.internal.util.ScalaClassLoader $ .savingContextLoader（ScalaClassLoader.scala：97） 在scala.tools.nsc.interpreter.ILoop.process（ILoop.scala：909） 在org.apache.spark.repl.Main $ .doMain（Main.scala：70） 在org.apache.spark.repl.Main $ .main（Main.scala：53） 在org.apache.spark.repl.Main.main（Main.scala） at sun.reflect.NativeMethodAccessorImpl.invoke0（Native Method） at sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62） at sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43） at java.lang.reflect.Method.invoke（Method.java:498） 在org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain（SparkSubmit.scala：755） 在org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1（SparkSubmit.scala：180） 在org.apache.spark.deploy.SparkSubmit $ .submit（SparkSubmit.scala：205） 在org.apache.spark.deploy.SparkSubmit $ .main（SparkSubmit.scala：119） 在org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）