使用df.fillna（0）时出错

Question

使用spark + python的非常简单的代码：

df = spark.read.option("header","true").csv(file_name)
df = df_abnor_matrix.fillna(0)

但发生了错误：

  

pyspark.sql.utils.AnalysisException：u＆＃39;无法解析列名   ＆＃34; cp_com.game.shns.uc＆＃34; （ProductVersion，IMEI，FROMTIME，TOTIME，   STATISTICTIME，TimeStamp，label，MD5，cp_com.game.shns.uc，   cp_com.yunchang ....

它有什么问题？列表中包含cp_com.game.shns.uc。

Answer 1

Spark不支持列名check issue中的点字符，因此在处理csv之前需要用下划线替换点。