Question

conf = SparkConf().setMaster("spark://127.0.0.1:7077").setAppName("Calculate Pi")
#conf = SparkConf().setMaster("spark://6183cd7c29b0:7077").setAppName("Calculate Pi")
sc = SparkContext(conf=conf)

# (3) Calculate the value of Pi i.e. 3.14...
def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1

num_samples = 1000000
count = sc.parallelize(range(0, num_samples)).filter(inside).count()
pi = 4 * count / num_samples

发生以下错误？

Py4JJavaError：调用时发生错误 z：org.apache.spark.api.python.PythonRDD.collectAndServe。： java.lang.IllegalArgumentException：不支持的类文件主要 55版 org.apache.xbean.asm6.ClassReader。（ClassReader.java:166）在 org.apache.xbean.asm6.ClassReader。（ClassReader.java:148）在 org.apache.xbean.asm6.ClassReader。（ClassReader.java:136）在 org.apache.xbean.asm6.ClassReader。（ClassReader.java:237）在 org.apache.spark.util.ClosureCleaner $ .getClassReader（ClosureCleaner.scala：49）在 org.apache.spark.util.FieldAccessFinder $$ anon $ 3 $$ anonfun $ visitMethodInsn $ 2.apply（ClosureCleaner.scala：517）在 org.apache.spark.util.FieldAccessFinder $$ anon $ 3 $$ anonfun $ visitMethodInsn $ 2.apply（ClosureCleaner.scala：500）在 scala.collection.TraversableLike $ WithFilter $$ anonfun $ foreach $ 1.apply（TraversableLike.scala：733）在 scala.collection.mutable.HashMap $ anon $ 1 $$ anonfun $ foreach $ 2.apply（HashMap.scala：134）在 scala.collection.mutable.HashMap $ anon $ 1 $$ anonfun $ foreach $ 2.apply（HashMap.scala：134）在 scala.collection.mutable.HashTable $ class.foreachEntry（HashTable.scala：236）在scala.collection.mutable.HashMap.foreachEntry（HashMap.scala：40）在 scala.collection.mutable.HashMap $$ anon $ 1.foreach（HashMap.scala：134）在 scala.collection.TraversableLike $ WithFilter.foreach（TraversableLike.scala：732）在 org.apache.spark.util.FieldAccessFinder $$ anon $ 3.visitMethodInsn（ClosureCleaner.scala：500）在org.apache.xbean.asm6.ClassReader.readCode（ClassReader.java:2175）在 org.apache.xbean.asm6.ClassReader.readMethod（ClassReader.java:1238）在org.apache.xbean.asm6.ClassReader.accept（ClassReader.java:631）在 org.apache.xbean.asm6.ClassReader.accept（ClassReader.java:355）在 org.apache.spark.util.ClosureCleaner $$ anonfun $ org $ apache $ spark $ util $ ClosureCleaner $$ clean $ 14.apply（ClosureCleaner.scala：307）在 org.apache.spark.util.ClosureCleaner $$ anonfun $ org $ apache $ spark $ util $ ClosureCleaner $$ clean $ 14.apply（ClosureCleaner.scala：306）在scala.collection.immutable.List.foreach（List.scala：392）在 org.apache.spark.util.ClosureCleaner $ .org $ apache $ spark $ util $ ClosureCleaner $$ clean（ClosureCleaner.scala：306）在 org.apache.spark.util.ClosureCleaner $ .clean（ClosureCleaner.scala：162）在org.apache.spark.SparkContext.clean（SparkContext.scala：2326）处 org.apache.spark.SparkContext.runJob（SparkContext.scala：2100）在 org.apache.spark.SparkContext.runJob（SparkContext.scala：2126）在 org.apache.spark.rdd.RDD $$ anonfun $ collect $ 1.apply（RDD.scala：945）在 org.apache.spark.rdd.RDDOperationScope $ .withScope（RDDOperationScope.scala：151）在 org.apache.spark.rdd.RDDOperationScope $ .withScope（RDDOperationScope.scala：112）在org.apache.spark.rdd.RDD.withScope（RDD.scala：363）在 org.apache.spark.rdd.RDD.collect（RDD.scala：944）在 org.apache.spark.api.python.PythonRDD $ .collectAndServe（PythonRDD.scala：166）在 org.apache.spark.api.python.PythonRDD.collectAndServe（PythonRDD.scala）在 java.base / jdk.internal.reflect.NativeMethodAccessorImpl.invoke0（本机方法） java.base / jdk.internal.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）在 java.base / jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）在java.base / java.lang.reflect.Method.invoke（Method.java:566）在 py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:244）在 py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:357）在 py4j.Gateway.invoke（Gateway.java:282）在 py4j.commands.AbstractCommand.invokeMethod（AbstractCommand.java:132）在py4j.commands.CallCommand.execute（CallCommand.java:79）处 py4j.GatewayConnection.run（GatewayConnection.java:238）在 java.base / java.lang.Thread.run（Thread.java:834）

# .bashrc

#spark export SPARK_HOME=/usr/local/spark/spark-2.4.4-bin-hadoop2.7 export ANACONDA_HOME=/home/jake/anaconda/bin:$PATH

#java export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

#path export PATH=${ANACONDA_HOME}/bin:${JAVA_HOME}/bin:$PATH

其他错误消息

12/02 18:27:02 WARN Utils：您的主机名jake-System-Product-Name   解析为回送地址：127.0.1.1;改用192.168.0.4   （在wlp3s0接口上）19/12/02 18:27:02 WARN Utils：设置SPARK_LOCAL_IP   如果您需要绑定到其他地址19/12/02 18:27:03 WARN   NativeCodeLoader：无法为您的本机-hadoop库加载   平台...在适当的地方使用内建的Java类使用Spark的   默认的log4j配置文件：org / apache / spark / log4j-defaults.properties   将默认日志级别设置为“ WARN”。调整日志记录级别使用   sc.setLogLevel（newLevel）。对于SparkR，请使用setLogLevel（newLevel）。   19/12/02 18:27:03 WARN Utils：服务'SparkUI'无法在端口上绑定   4040。尝试端口4041。[阶段0：>（0 + 0）/ 2] 19/12/02 18:27:19 WARN TaskSchedulerImpl：初始作业具有   不接受任何资源；检查您的群集用户界面，以确保   工人已经注册并且拥有足够的资源19/12/02 18:27:34   WARN TaskSchedulerImpl：初始作业未接受任何资源；   检查您的集群用户界面，以确保工作人员已注册并拥有   足够的资源2002年2月19日18:27:49警告TaskSchedulerImpl：初始   工作未接受任何资源；检查您的集群用户界面以确保   工人已经注册并且有足够的资源02/12/19   18:28:04 WARN TaskSchedulerImpl：初始作业未接受任何作业   资源；检查您的集群用户界面，以确保工作人员已注册   并有足够的资源[阶段0：>
  （0 + 0）/ 2]

spark Py4JJavaError：java.lang.IllegalArgumentException：不支持的类文件主要版本55

0 个答案: