Question

我正在尝试执行Spark的countVectorizer模型。作为此要求的一部分，我正在读取一个csv文件并从中创建一个Dataframe（inp_DF）。

它有3列，如下所示

+--------------+--------+-------+
|         State|Zip Code|Country|
+--------------+--------+-------+
|      kentucky|   40205|     us|
|       indiana|   47305|     us|
|greater london|    sw15|     gb|
|    california|   92707|     us|
|      victoria|    3000|     au|
|         paris|   75001|     fr|
|      illinois|   60608|     us|
|     minnesota|   55405|     us|
|    california|   92688|     us|
+--------------+--------+-------+

我需要在同一数据框中创建第4列，其中包含所有这3列的值数组，例如

|      kentucky|   40205|     us|   "kentucky","40205","us"
|       indiana|   47305|     us|   "indiana","47305","us"
|greater london|    sw15|     gb|   "greater london","sw15","gb"
|    california|   92707|     us|   "california","92707","us"
|      victoria|    3000|     au|   "victoria","3000","au"
|         paris|   75001|     fr|   "paris","75001","fr"
|      illinois|   60608|     us|   "illinois","60608","us"
|     minnesota|   55405|     us|   "minnesota","55405","us"
|    california|   92688|     us|   "california","92688","us"

问题1：是否有像.concat这样的简单命令来实现这一目标？

需要此数组，因为countVectorizer模型的输入应该是包含值数组的列。它不应该是以下错误消息中提到的字符串数据类型：

线程中的异常＆＃34; main＆＃34; java.lang.IllegalArgumentException异常：要求失败：列状态的类型必须等于其中一个以下类型：[ArrayType（StringType，true）， ArrayType（StringType，false）]但实际上是StringType 类型。在 scala.Predef $ .require（Predef.scala：224）at org.apache.spark.ml.util.SchemaUtils $ .checkColumnTypes（SchemaUtils.scala：58）在 org.apache.spark.ml.feature.CountVectorizerParams $ class.validateAndTransformSchema（CountVectorizer.scala：75）在 org.apache.spark.ml.feature.CountVectorizer.validateAndTransformSchema（CountVectorizer.scala：123）在 org.apache.spark.ml.feature.CountVectorizer.transformSchema（CountVectorizer.scala：188）在 org.apache.spark.ml.PipelineStage.transformSchema（Pipeline.scala：74）在 org.apache.spark.ml.feature.CountVectorizer.fit（CountVectorizer.scala：155）在 org.apache.spark.examples.ml.CountVectorizerExample $。主要（CountVectorizerExample.scala：54）在 org.apache.spark.examples.ml.CountVectorizerExample.main（CountVectorizerExample.scala） at sun.reflect.NativeMethodAccessorImpl.invoke0（Native Method）at sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）在 sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）在java.lang.reflect.Method.invoke（Method.java:498）at com.intellij.rt.execution.application.AppMain.main（AppMain.java:147） Java HotSpot（TM）客户端VM警告：忽略选项MaxPermSize = 300m; 支持已在8.0中删除

我尝试从输入数据帧的3列创建一个数组，但数组元素用方括号[]括起来。

下面给出了示例代码段供您参考

// Read Input Dataset for countVectorizer Logic
val inp_data = spark.read.format("com.databricks.spark.csv").option("header", "True").option("inferSchema", "true")
      .option("treatEmptyValuesAsNulls", "true").option("nullValue", "")
      .load("Input.csv")

// Creating a Spark Dataframe from the Input Data
val inp_DF = inp_data.toDF()

// Creating an array from Spark Dataframe Columns
val inp_array = inp_DF.select("State","Zip Code","Country").collect()
      println(inp_array.mkString(","))

// fit a CountVectorizerModel from the corpus
val cvModel: CountVectorizerModel = new CountVectorizer()
      .setInputCol("State")
      .setOutputCol("features")
      .setVocabSize(4)
      .setMinDF(2)
      .fit(inp_DF)

问题2：如何从这些数组元素中删除方括号[]并在数据框中使用数组值创建新列？

问题3：我们可以提供单列值作为countVectorizer模型的输入并将功能作为输出吗？

Answer 1

您可以使用array功能将array column创建为

import org.apache.spark.sql.functions._
val inp_array = inp_DF.withColumn("arrayColumn", array("State", "Zip Code", "Country"))

应该输出为

+-------------+--------+-------+-------------------------+
|State        |Zip Code|Country|arrayColumn              |
+-------------+--------+-------+-------------------------+
|kentucky     |40205   |us     |[kentucky, 40205, us]    |
|indiana      |47305   |us     |[indiana, 47305, us]     |
|greaterlondon|sw15    |gb     |[greaterlondon, sw15, gb]|
|california   |92707   |us     |[california, 92707, us]  |
|victoria     |3000    |au     |[victoria, 3000, au]     |
|paris        |75001   |fr     |[paris, 75001, fr]       |
|illinois     |60608   |us     |[illinois, 60608, us]    |
|minnesota    |55405   |us     |[minnesota, 55405, us]   |
|california   |92688   |us     |[california, 92688, us]  |
+-------------+--------+-------+-------------------------+

您可以在dataframe中使用此CountVectorizerModel作为

val cvModel: CountVectorizerModel = new CountVectorizer()
  .setInputCol("arrayColumn")
  .setOutputCol("features")
  .setVocabSize(4)
  .setMinDF(2)
  .fit(inp_array)

回答你的前两个问题。

现在回答你的第三个问题。是您只能在CountVectorizerModel中使用一列，但为此您需要将列转换为ArrayType(StringType,true)，这可以通过使用array函数来完成上方。

假设您要在State中使用CountVectorizerModel列。然后，您可以通过执行

将State列的数据类型更改为array

val single_arrayDF = inp_DF.withColumn("State", array("State"))

并将其用作

 val cvModel: CountVectorizerModel = new CountVectorizer()
  .setInputCol("State")
  .setOutputCol("features")
  .setVocabSize(4)
  .setMinDF(2)
  .fit(single_arrayDF)

我希望答案很有帮助。

Spark - 如何在countVectorizer模型

1 个答案: