如何在pyspark中将列拆分为标签和功能?

时间:2019-02-13 04:48:59

标签: python csv apache-spark pyspark apache-spark-ml

我正在学习PySpark。在https://spark.apache.org/docs/2.2.0/ml-pipeline.html中,有一个示例:

from pyspark.ml.linalg import Vectors
from pyspark.ml.classification import LogisticRegression

# Prepare training data from a list of (label, features) tuples.
training = spark.createDataFrame([
    (1.0, Vectors.dense([0.0, 1.1, 0.1])),
    (0.0, Vectors.dense([2.0, 1.0, -1.0])),
    (0.0, Vectors.dense([2.0, 1.3, 1.0])),
    (1.0, Vectors.dense([0.0, 1.2, -0.5]))], ["label", "features"])

# Create a LogisticRegression instance. This instance is an Estimator.
lr = LogisticRegression(maxIter=10, regParam=0.01)
# Print out the parameters, documentation, and any default values.
print("LogisticRegression parameters:\n" + lr.explainParams() + "\n")
......

从这里,您可以看到这是一个很小的数据集,所有要素都放在一起并有一个通用名称:要素。

但是通常我们是这样从csv文件读取数据的:

from pyspark.ml.linalg import Vectors
from pyspark.ml.classification import LogisticRegression

spark=SparkSession.builder.getOrCreate()
df = spark.read.csv("/home/feng/Downloads/datatry.csv",header=True)

如果我的数据有5列:c1,c2,c3,c4,c5。假设c5是标签列,其他4列是要素。那么,如何将csv格式转换为上述格式,以便我可以继续工作?或者,是否有另一个不需要这样做?

谢谢

1 个答案:

答案 0 :(得分:1)

VectorAssembler可用于将给定的列列表转换为单个向量列。

用法示例:

assembler = VectorAssembler(
    inputCols=["c1", "c2", "c3", "c4"],
    outputCol="features")

output = assembler.transform(df)

这要求所有以前的列都是数字,布尔或向量类型。如果您有字符串列,则必须使用其他转换器:StringIndexer。有关所有可用变压器的概述,请参见documentation

请注意,在同一数据上连续使用多个变形金刚时,使用Pipeline更简单。