获取Spark Dataframe中特定单元格的值

时间:2019-03-02 00:09:30

标签: apache-spark dataframe pyspark apache-spark-sql

我有一个Spark数据框,其中有1行和3列,分别是start_date,end_date,end_month_id。
我想将第一个单元格中的值检索到一个变量中,并使用该变量来过滤另一个数据框。 enter image description here

我想将“ 2019-01-01”检索到变量中。我该怎么办?
这是我到目前为止的内容:

start_date = df1[0];
df2.filter(df2.date_reported >= start_date)

我是菜鸟,所以请放轻松

2 个答案:

答案 0 :(得分:0)

尝试一下。 take给您一个行数组,您可以根据Row对象中的列名提取值。

val start_date = df1.take(1)(0).getAs[String]("start_date")

答案 1 :(得分:0)

如果df1是spark数据帧,则使用collect()函数获取相同的数据。 例如,

df1.collect()[行号] [列号] [0] [0]