在Spark中加入Dataframes

Question

我使用下面的代码加入了两个带有Spark的Dataframe -

  

数据框是：expDataFrame，accountList

val expDetails = expDataFrame.as("fex").join(accountList.as("acctlist"),$"fex.acct_id" === $"acctlist.acct_id", "inner")

现在我试图从两个数据帧中同时显示 acct_id 。

我已经完成了下面的代码 -

expDetails.select($"fex.acct_id",$"acct_id.acct_id").show

但获得两次相同的列名称 acct_id

我想要两个独特的列名，例如 fex_acct_id，acctlist_acct_id 来标识数据帧的列。

Answer 1

您只需使用as or alias方法为列添加别名即可。这将完成这项工作：

expDetails.select(
  $"fex.acct_id".as("fex_acct_id"),
  $"acct_id.acct_id".as("acctlist_acct_id")
).show