在Google Colab上的Spark中加载tsv文件时出错

时间:2019-10-30 19:20:54

标签: python pyspark apache-spark-sql

<b>file_loc = 'T3.tsv'
T3_df = spark.read.csv(file_loc, header=False, sep="\t")</b>

读取文件时出现Py4JJavaError的输入/输出错误-

调用o29.csv时发生错误。 :

  

org.apache.spark.SparkException:由于阶段失败而导致作业中止:阶段0.0中的任务0失败1次,最近一次失败:阶段0.0中的任务0.0丢失(TID 0,本地主机,执行程序驱动程序):org.apache .hadoop.fs.FSError:java.io.IOException:org.apache.hadoop.fs.RawLocalFileSystem $ LocalFSFileInputStream.read(RawLocalFileSystem.java:163)处的输入/输出错误为java.io.BufferedInputStream.read1(BufferedInputStream.java :284)


  

由以下原因引起:java.io.IOException:java.io.FileInputStream.read(FileInputStream.java:255)处java.io.FileInputStream.readBytes(本机方法)处的输入/输出错误

0 个答案:

没有答案