我有一个具有以下结构和架构的CSV文件。
enter code here
但是,当从CSV文件读取时,WaveMarker的所有值都设置为“未定义” df.show()的结果
Age|gender|empl|weight1|WaveMarker
_35_44|_2|_1|1.836806276249|2018_7
_25_34|_1|_1|1.07306705429563|2018_7
_25_34|_1|_1|1.07306705429563|2018_7
StructType(
StructField(Age,StringType,true),
StructField(gender,StringType,true),
StructField(empl,StringType,true),
StructField(weight1,DoubleType,true),
StructField(WaveMarker,StringType,false)
)
与WaveMarker唯一不同的是它是字符串类型的计算变量。
+-----------------+------------+----------+-------------------+----------+
|S0101_AgeBreaks_2|S0102_gender|S0104_empl| weight1|WaveMarker|
+-----------------+------------+----------+-------------------+----------+
| _55_64| _2| _1|0.45218578423031397| UNDEFINED|
| _65_70| _1| _3| 1.15091044127064| UNDEFINED|
| _65_70| _2| _3| 0.8322074504127289| UNDEFINED|
| _18_24| _2| _1| 1.01132670132912| UNDEFINED|
| _65_70| _1| _3| 0.881507097796274| UNDEFINED|
+-----------------+------------+----------+-------------------+----------+
在所有情况下,我都希望WaveMarker看到一个未定义的值。
但是WaveMarker的所有值都未定义。
为什么我不能获得WaveMarker的价值?
感谢您的指导。