Question

我正在尝试在SPARK群集上运行Python脚本，并且在出现错误的情况下

File "create_csv_ecs.py", line 15, in <module>
sc = SparkContext(conf=conf)
  File "/opt/disk1/spark-2.3.0-bin-without-hadoop/python/lib/pyspark.zip/pyspark/context.py", line 115, in __init__
  File "/opt/disk1/spark-2.3.0-bin-without-hadoop/python/lib/pyspark.zip/pyspark/context.py", line 280, in _ensure_initialized
  File "/opt/disk1/spark-2.3.0-bin-without-hadoop/python/lib/pyspark.zip/pyspark/java_gateway.py", line 117, in launch_gateway
  File "/opt/disk1/data/hdfs/tmp/nm-local-dir/usercache/appcache/application_17/container_000001/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 180, in java_import
  File "/opt/disk1/data/hdfs/tmp/nm-local-dir/usercache/appcache/application_17/container_000001/py4j-0.10.7-src.zip/py4j/protocol.py", line 332, in get_return_value
py4j.protocol.Py4JError: An error occurred while calling None.None. Trace:
Authentication error: unexpected command.

我正在运行一个简单的python来打印问候词，如下所示（IMPORTS用于我的实际脚本）

from pyspark import SparkContext
from pyspark import SparkConf
from pyspark.sql import SparkSession

import csv
import re

conf = SparkConf().setAppName("Convert CSV - Python")
sc = SparkContext(conf=conf)


print ("Hello Spark")

我的SPARK版本-

spark-submit --version

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.3.1
      /_/

Using Scala version 2.11.8, Java HotSpot(TM) Client VM, 1.8.0_66
Branch
Compiled by user vanzin on 2018-06-01T20:37:04Z
Revision
Url
Type --help for more information.

我在本地Windows计算机上的SPARK_HOME-

SPARK_HOME
C:\Users\spark-2.3.1-bin-hadoop2.7

如果有人解决了这个错误，请帮忙，因为我从过去两天就被卡住了，因此，请让我知道是否需要更多信息来解决这个问题。

Answer 1

我收到错误消息是由于本地计算机和我要调用的SPARK服务器上的版本不匹配。

所以解决方法是我将本地计算机上的版本更改为2.3.0，之前是2.3.1。

py4j.protocol.Py4JError：调用None.None时发生错误。跟踪：

1 个答案: