Question

我有一个数据框如下：

+-----+--------------------+
|LABEL|                TERM|
+-----+--------------------+
|    4|  inhibitori_effect|
|    4|    novel_therapeut|
|    4| antiinflammator...|
|    4|    promis_approach|
|    4|      cell_function|
|    4|          cell_line|
|    4|        cancer_cell|

我想通过将所有术语作为序列来创建一个新的数据帧，以便我可以将它们与Word2vec一起使用。那就是：

+-----+--------------------+
|LABEL|                TERM|
+-----+--------------------+
|    4|  inhibitori_effect, novel_therapeut,..., cell_line |

因此，我想应用此处给出的示例代码：https://spark.apache.org/docs/latest/ml-features.html#word2vec

到目前为止，我已尝试将df转换为RDD并映射它。然后我无法将其重新转换为df。

提前致谢。

编辑：

import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.SQLContext

val sc = new SparkContext(conf)
    val sqlContext: SQLContext = new HiveContext(sc)  

    val df = sqlContext.load("jdbc",Map(
      "url" -> "jdbc:oracle:thin:...",
      "dbtable" -> "table"))

    df.show(20)

    df.groupBy($"label").agg(collect_list($"term").alias("term"))

Answer 1

您可以使用collect_list或collect_set函数：

import org.apache.spark.sql.functions.{collect_list, collect_set}

df.groupBy($"label").agg(collect_list($"term").alias("term"))

在Spark＆lt; 2.0它需要HiveContext并且在Spark 2.0+中你必须在SessionBuilder中启用配置单元支持。见Use collect_list and collect_set in Spark SQL

如何将数据帧列转换为序列

1 个答案: