Spark中定义的col和window方法在哪里?

时间:2019-01-29 06:01:18

标签: apache-spark

我找到了这个结构。

purchaseByCustomerPerHour = streamingDataFrame\
.selectExpr(
"CustomerId",
"(UnitPrice * Quantity) as total_cost",
"InvoiceDate")\
.groupBy(
col("CustomerId"), window(col("InvoiceDate"), "1 day"))\
.sum("total_cost")

在哪里定义了colwindow方法?我在Spark的API文档中找不到它们。

1 个答案:

答案 0 :(得分:-1)

找到了。其价格为https://spark.apache.org/docs/2.2.0/api/scala/index.html#org.apache.spark.sql.functions $

我应该注意到同一代码中使用的import关键字