Question

我正在尝试在Python中初始化Spark Context变量。

  componentDidUpdate(prevProps) {
    if (this.props.location !== prevProps.location) {
      this.onRouteChanged();
    }
  }

  onRouteChanged() {
    console.log("ROUTE CHANGED");
  }

但我收到以下错误：

py4j.protocol.Py4JJavaError：调用时发生错误   None.org.apache.spark.api.java.JavaSparkContext。：   java.lang.NoClassDefFoundError：无法初始化类   org.apache.spark.internal.config.package $
          在org.apache.spark.SparkConf.validateSettings（SparkConf.scala：546）           在org.apache.spark.SparkContext。（SparkContext.scala：373）           在org.apache.spark.api.java.JavaSparkContext。（JavaSparkContext.scala：58）           at sun.reflect.NativeConstructorAccessorImpl.newInstance0（Native Method）           at sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:62）           at sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）           at java.lang.reflect.Constructor.newInstance（Constructor.java:423）           在py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:247）           在py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:357）           在py4j.Gateway.invoke（Gateway.java:236）           在py4j.commands.ConstructorCommand.invokeConstructor（ConstructorCommand.java:80）           在py4j.commands.ConstructorCommand.execute（ConstructorCommand.java:69）           在py4j.GatewayConnection.run（GatewayConnection.java:214）           在java.lang.Thread.run（Thread.java:748）

我已经四处寻找解决方案，但没有得到确切的解决方案。请帮忙。

Answer 1

将 SPARK_LOCAL_IP 环境变量设置为 localhost 解决了我的错误。

Answer 2

请尝试提及大师作为＆＃34;本地[*]＆＃34;而不只是＆＃34;本地＆＃34;。

Answer 3

你有这套吗？

largeTitle

同样可以肯定的是，在spark目录中添加py4j zip（我的是py4j-0.10.1-src.zip）的路径为：

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH

无法初始化火花上下文

3 个答案: