在Spark

Question

在使用scala的Spark中，有没有简单的方法可以自动将变量或列转换为导入数据中的对象，因此我们可以在.map（）中使用column_a.contains("something")本身？

Answer 1

看起来你是来自R. Spark是面向行的而不是面向列的。例如，如果您想要contains，则首先filter行，而不是apply地图，或使用collect并同时执行这两项操作，但这样做做得有点难。