Spark:无法解析输入列

时间:2017-03-30 15:59:04

标签: apache-spark

我有

val colNames = data.schema.fieldNames
.filter(colName => colName.split("-")(0) == "20003" || colName == "eid") 

然后我用它来选择数据帧的子集:

var medData = data.select(colNames.map(c => col(c)): _*).rdd

但我得到

cannot resolve '`20003-0.0`' given input columns: 
[20003-0.0, 20003-0.1, 20003-0.2, 20003-0.3];;

发生了什么事?

1 个答案:

答案 0 :(得分:2)

我必须包括这样的反复使用:

var medData = data.select(colNames.map(c => col(s"`$c`")): _*).rdd

spark由于某种原因添加了反引号