我一直试图从pyspark的CSV文件中读取,其中文件名包含特殊字符。但是,火花使我出错。有什么方法可以使用spark读取此文件吗?
我尝试读取名称为“ [dbo]。[sample_To_text_Common] .csv”的文件。我也尝试过转义字符.Azure Data Bricks Notebook中的同一文件已通过使用文件名播放使用spark读取。
适用于Azure数据块的代码
data_file = "[dbo].[sample_To_text_Common].csv".replace("[","?").replace("]","?")
df = spark.read.option("header","true").csv(data_file)
在spark本地模式下,它会引发如下错误(我也在本地模式下也尝试过上述错误)
df = spark.read.option("header","true").csv("[dbo].[sample_To_text_Common].csv")
pyspark.sql.utils.AnalysisException: u"Path does not exist: '[dbo].[sample_To_text_Common].csv';"