使用带有空格的PySpark ORC路径

时间:2018-04-24 19:22:58

标签: python apache-spark pyspark orc

我遇到了一行代码问题,这些代码曾经在Spark 1.6中正常工作,但在Spark 2.2中不起作用。 错误是java.io.FileNotFoundException:文件不存在:

请注意文件路径中有一个空格。空间在yyyy-mm-dd之后。

  

hdfs:// hadoop / path / part_date = 2018-04-20 15%3A01%3A21 / 000000_0

这可能导致问题。 我怎么能解决这个问题。

df = spark.read.format('orc').load('hdfs://hadoop/path/part_date=2018-04-20%2015%253A01%253A21/000000_0')
df.show()

0 个答案:

没有答案