我在Spark中出现“显示”错误时遇到了一些问题。
当我要打印数据框时,如果使用功能“ head”,它可以工作,但是如果使用功能“ show”,则出现错误。错误代码为o468.showString。
sales_df = spark.read.csv(files_to_read, sep=';', header=False, schema=df_schema, dateFormat="yyyyMMdd")
df.show(5)
错误消息:
Py4JError追溯(最近的呼叫 最后)在() ----> 1个sales_df.show(5) 2#df.printSchema() 3#df.count()
/opt/conda/lib/python3.5/site-packages/pyspark/sql/dataframe.py在 显示(自我,n,截断) 316“”“ 317如果isinstance(truncate,bool)并截断: -> 318打印(self._jdf.showString(n,20)) 319其他: 第320章(320)
/opt/conda/lib/python3.5/site-packages/py4j/java_gateway.py在 呼叫((自我,* args)1131年答案= self.gateway_client.send_command(命令)1132 return_value = get_return_value( -> 1133 answer,self.gateway_client,self.target_id,self.name)1134 1135 for temp_args中的temp_arg:
/opt/conda/lib/python3.5/site-packages/pyspark/sql/utils.py在 装饰(* a,** kw) 61 def deco(* a,** kw): 62试试: ---> 63返回f(* a,** kw) 64,除了py4j.protocol.Py4JJavaError如e: 65 s = e.java_exception.toString()
/opt/conda/lib/python3.5/site-packages/py4j/protocol.py在 get_return_value(回答,gateway_client,target_id,名) 第321章 322“调用{0} {1} {2}时发生错误。跟踪:\ n {3} \ n”。 -> 323格式(target_id,“。”,名称,值)) 324其他: 325提高Py4JError(
Py4JError:调用o468.showString时发生错误。跟踪: py4j.Py4JException:方法showString([class java.lang.Integer,class java.lang.Integer])在以下位置不存在 py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318) 在 py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326) 在py4j.Gateway.invoke(Gateway.java:274)处 py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) 在py4j.commands.CallCommand.execute(CallCommand.java:79)处 py4j.GatewayConnection.run(GatewayConnection.java:214)在 java.lang.Thread.run(Thread.java:748)
非常感谢您的帮助!