Spark

时间:2019-05-31 12:46:28

标签: apache-spark pyspark

我在Spark中出现“显示”错误时遇到了一些问题。

当我要打印数据框时,如果使用功能“ head”,它可以工作,但是如果使用功能“ show”,则出现错误。错误代码为o468.showString。

sales_df = spark.read.csv(files_to_read, sep=';', header=False, schema=df_schema, dateFormat="yyyyMMdd")

df.show(5)

错误消息:

  
     

Py4JError追溯(最近的呼叫   最后)在()   ----> 1个sales_df.show(5)         2#df.printSchema()         3#df.count()

     

/opt/conda/lib/python3.5/site-packages/pyspark/sql/dataframe.py在   显示(自我,n,截断)       316“”“       317如果isinstance(truncate,bool)并截断:   -> 318打印(self._jdf.showString(n,20))       319其他:       第320章(320)      

/opt/conda/lib/python3.5/site-packages/py4j/java_gateway.py在   呼叫((自我,* args)1131年答案= self.gateway_client.send_command(命令)1132 return_value   = get_return_value(   -> 1133 answer,self.gateway_client,self.target_id,self.name)1134 1135 for temp_args中的temp_arg:

     

/opt/conda/lib/python3.5/site-packages/pyspark/sql/utils.py在   装饰(* a,** kw)        61 def deco(* a,** kw):        62试试:   ---> 63返回f(* a,** kw)        64,除了py4j.protocol.Py4JJavaError如e:        65 s = e.java_exception.toString()

     

/opt/conda/lib/python3.5/site-packages/py4j/protocol.py在   get_return_value(回答,gateway_client,target_id,名)       第321章       322“调用{0} {1} {2}时发生错误。跟踪:\ n {3} \ n”。   -> 323格式(target_id,“。”,名称,值))       324其他:       325提高Py4JError(

     

Py4JError:调用o468.showString时发生错误。跟踪:   py4j.Py4JException:方法showString([class java.lang.Integer,class   java.lang.Integer])在以下位置不存在   py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)     在   py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)     在py4j.Gateway.invoke(Gateway.java:274)处   py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)     在py4j.commands.CallCommand.execute(CallCommand.java:79)处   py4j.GatewayConnection.run(GatewayConnection.java:214)在   java.lang.Thread.run(Thread.java:748)

非常感谢您的帮助!

0 个答案:

没有答案