标签: dataframe apache-spark pyspark
我正在尝试将数据从 Databricks 推送到 SQL。但是,我收到以下错误:
我注意到在我正在处理的文件中,其中一列的值如下:
我尝试使用以下方法过滤掉记录:
df = df.filter(df.COLUMN != "\N")
但是,当上面运行时,我收到上面确定的错误消息。有没有办法过滤掉包含转义字符的值?
我真的很感激任何帮助。谢谢。
答案 0 :(得分:1)
如错误提示,您需要转义反斜杠 \
\
df.filter(df.value != "\\N")