使用ANSI编码读取pyspark中的CSV文件

Question

我正在尝试读取一个要求使用ANSI编码读取的csv /文本文件。但是，这不起作用。有什么想法吗？

mainDF= spark.read.format("csv")\
                  .option("encoding","ANSI")\
                  .option("header","true")\
                  .option("maxRowsInMemory",1000)\
                  .option("inferSchema","false")\
                  .option("delimiter", "¬")\
                  .load(path)

java.nio.charset.UnsupportedCharsetException：ANSI

文件超过5GB，因此需要火花。

我也尝试使用小写ANSI

Answer 1

ISO-8859-1与ANSI相同，因此如上所述替换