在Spark

时间:2015-08-23 15:21:30

标签: scala apache-spark

在使用scala的Spark中,有没有简单的方法可以自动将变量或列转换为导入数据中的对象,因此我们可以在.map()中使用column_a.contains("something")本身?

1 个答案:

答案 0 :(得分:0)

看起来你是来自R. Spark是面向行的而不是面向列的。例如,如果您想要contains,则首先filter行,而不是apply地图,或使用collect并同时执行这两项操作,但这样做做得有点难。