Question

我从solr查询了很多数据帧。这些数据框将是一个数据帧联合

var sub = sc.textFile("file:/home/zeppelin/query_term.txt")

def qmap(filter: String, options: Map[String, String]): DataFrame = {
    val qm = Map(
        "query" -> filter
    )
    val df = sqlContext.read.format("solr").options(options).options(qm).load
    return df
}

val dfs = sub.map(x => qmap(x,subject_options)).reduce((x,y) => x.unionAll(y))

但是，计算dfs的操作有一些例外。

请给我一些方法或想法来解决它。感谢。

Answer 1

替换

var sub = sc.textFile("file:/home/zeppelin/query_term.txt")

与

var sub = sc.textFile("file:/home/zeppelin/query_term.txt").collect

spark-solr中的spark数据帧联合数据帧

1 个答案: