Question

我正在尝试使用Columns和Doubles进行一些基本操作，如果不创建UDF，我无法弄清楚如何做到这一点。

scala> import org.apache.spark.sql.functions.col
scala> import spark.implicits._

scala> val df = Seq(("A", 1), ("B", 2), ("C", 3)).toDF("col1", "col2")
df: org.apache.spark.sql.DataFrame = [col1: string, col2: int]

我想找到col2的倒数，我想这会是这样的：

scala> df.withColumn("col3", 1/col("col2")).show

但是这给出了这个错误：

<console>:30: error: overloaded method value / with alternatives:
  (x: Double)Double <and>
  (x: Float)Float <and>
  (x: Long)Long <and>
  (x: Int)Int <and>
  (x: Char)Int <and>
  (x: Short)Int <and>
  (x: Byte)Int
 cannot be applied to (org.apache.spark.sql.Column)
       df.withColumn("col3", 1/col("col2")).show

基本上说你不能用左边的Double和右边的Column执行除法（或任何其他操作符）。我能够弄清楚如何做到这一点的唯一方法是创建一个UDF并像这样应用它：

scala> def reciprocal(x: Double) : Double = {1/x}
reciprocal: (x: Double)Double

scala> val reciprocalUDF = spark.sqlContext.udf.register(
       "reciprocalUDF", reciprocal _)

scala> df.withColumn("col3", reciprocalUDF(col("col2"))).show
+----+----+------------------+
|col1|col2|              col3|
+----+----+------------------+
|   A|   1|               1.0|
|   B|   2|               0.5|
|   C|   3|0.3333333333333333|
+----+----+------------------+

但是真的吗？ UDF是唯一可以做这种事情的方法吗？每次我必须做一些像分区这样简单的操作时，我不想创建UDF。

Answer 1

使用文字Column

import org.apache.spark.sql.functions.lit

lit(1) / col("col2")

scala spark中的值和列操作，如何使用带有spark列的运算符左边的值？

1 个答案: