我遇到了一行代码问题,这些代码曾经在Spark 1.6中正常工作,但在Spark 2.2中不起作用。 错误是java.io.FileNotFoundException:文件不存在:
请注意文件路径中有一个空格。空间在yyyy-mm-dd之后。
hdfs:// hadoop / path / part_date = 2018-04-20 15%3A01%3A21 / 000000_0
这可能导致问题。 我怎么能解决这个问题。
df = spark.read.format('orc').load('hdfs://hadoop/path/part_date=2018-04-20%2015%253A01%253A21/000000_0')
df.show()