pyspark访问数据框的列,带有点'。'

时间:2016-05-16 10:23:58

标签: apache-spark dataframe pyspark

包含点(例如" id.orig_h")的pyspark数据框将不允许groupby,除非首先由withColumnRenamed重命名。有解决方法吗? "`a.b`"似乎无法解决问题。

1 个答案:

答案 0 :(得分:9)

在我的pyspark shell中,以下代码片段正在运行:

from pyspark.sql.functions import *
myCol = col("`id.orig_h`")    
result = df.groupBy(myCol).agg(...)

myCol = df["`id.orig_h`"]   
result = df.groupBy(myCol).agg(...)

我希望它有所帮助。