我有
val colNames = data.schema.fieldNames
.filter(colName => colName.split("-")(0) == "20003" || colName == "eid")
然后我用它来选择数据帧的子集:
var medData = data.select(colNames.map(c => col(c)): _*).rdd
但我得到
cannot resolve '`20003-0.0`' given input columns:
[20003-0.0, 20003-0.1, 20003-0.2, 20003-0.3];;
发生了什么事?
答案 0 :(得分:2)
我必须包括这样的反复使用:
var medData = data.select(colNames.map(c => col(s"`$c`")): _*).rdd
spark由于某种原因添加了反引号