从火花数据框中读取结构

时间:2017-02-28 12:41:08

标签: scala apache-spark

我已从spark DataFrame中读取此行:

scala> val t = df.take(99)
scala> t(0)(0)
res69: Any = [2,null,WrappedArray([20789823,null,0.0,null,1490788977,1], [50115961,null,0.0,null,1490788977,1], [20787723,null,0.0,null,1490788977,1], [20796254,null,0.0,null,1490788977,1]),null,1488196976]

但遗憾的是,我不知道如何在Any中访问包装数组。

虽然我可以将它转换为String并解析输出字符串,但我正在寻找正确的方法来访问数组。

1 个答案:

答案 0 :(得分:0)

您是否尝试过使用explode功能?它在某种程度上类似于对集合的flatMap调用。 Here是使用它的一个例子。

我希望有帮助:)