无法在pyspark中读取包含特殊字符[]的CSV

时间:2019-07-29 14:06:53

标签: python csv apache-spark pyspark azure-databricks

我一直试图从pyspark的CSV文件中读取,其中文件名包含特殊字符。但是,火花使我出错。有什么方法可以使用spark读取此文件吗?

我尝试读取名称为“ [dbo]。[sample_To_text_Common] .csv”的文件。我也尝试过转义字符.Azure Data Bricks Notebook中的同一文件已通过使用文件名播放使用spark读取。

适用于Azure数据块的代码


data_file = "[dbo].[sample_To_text_Common].csv".replace("[","?").replace("]","?")

df = spark.read.option("header","true").csv(data_file)

在spark本地模式下,它会引发如下错误(我也在本地模式下也尝试过上述错误)

df = spark.read.option("header","true").csv("[dbo].[sample_To_text_Common].csv")


pyspark.sql.utils.AnalysisException: u"Path does not exist: '[dbo].[sample_To_text_Common].csv';"

0 个答案:

没有答案
相关问题