Spark:groupBy有条件

时间:2015-11-25 11:18:08

标签: scala apache-spark

我有UIView* subview = ...; NSDictionary *views = NSDictionaryOfVariableBindings(subview); [self addConstraints:[NSLayoutConstraint constraintsWithVisualFormat:@"H:|[subview]|" options:0 metrics:nil views:views]]; groupBy基于3列。我正在做这样的事情:

DataFrame

无论如何,我不确定这是如何运作的。

是否管理忽略案例?我需要为每个列myDf.groupBy($"col1", $"col2", $"col3") "FOO"提供相同的内容,例如“”和null。

如果这不是我想要的工作模式,我可以添加它吗?在API文档中,我可以在列上看到"foo"的内容,但我找不到任何示例。

有什么想法吗?

1 个答案:

答案 0 :(得分:2)

您可以在groupBy语句中运行函数。因此,在这种情况下,您可能希望在对字符串进行分组时将字符串转换为小写字母。查看较低的功能

https://spark.apache.org/docs/1.5.2/api/scala/index.html#org.apache.spark.sql.functions $