df.show()的计算变量结果始终返回UNDEFINED,即使字段中有数据也是如此

时间:2019-01-24 04:43:32

标签: scala apache-spark dataframe

我有一个具有以下结构和架构的CSV文件。

enter code here

但是,当从CSV文件读取时,WaveMarker的所有值都设置为“未定义” df.show()的结果

Age|gender|empl|weight1|WaveMarker
_35_44|_2|_1|1.836806276249|2018_7
_25_34|_1|_1|1.07306705429563|2018_7
_25_34|_1|_1|1.07306705429563|2018_7

StructType(
    StructField(Age,StringType,true), 
    StructField(gender,StringType,true), 
    StructField(empl,StringType,true), 
    StructField(weight1,DoubleType,true), 
    StructField(WaveMarker,StringType,false)
)

与WaveMarker唯一不同的是它是字符串类型的计算变量。

+-----------------+------------+----------+-------------------+----------+
|S0101_AgeBreaks_2|S0102_gender|S0104_empl|            weight1|WaveMarker|
+-----------------+------------+----------+-------------------+----------+
|           _55_64|          _2|        _1|0.45218578423031397| UNDEFINED|
|           _65_70|          _1|        _3|   1.15091044127064| UNDEFINED|
|           _65_70|          _2|        _3| 0.8322074504127289| UNDEFINED|
|           _18_24|          _2|        _1|   1.01132670132912| UNDEFINED|
|           _65_70|          _1|        _3|  0.881507097796274| UNDEFINED|
+-----------------+------------+----------+-------------------+----------+

在所有情况下,我都希望WaveMarker看到一个未定义的值。

但是WaveMarker的所有值都未定义。

为什么我不能获得WaveMarker的价值?

感谢您的指导。

0 个答案:

没有答案