从Apache Spark中的模式获取数据类型列表

Question

我在Spark-Python中有以下代码来获取DataFrame架构中的名称列表，这样可以正常工作，但是如何获取数据类型列表呢？

columnTypes = df.schema.types

例如：

{{1}}

有没有办法获得DataFrame架构中包含的单独数据类型列表？

Answer 1

这是一个建议：

df = sqlContext.createDataFrame([('a', 1)])

types = [f.dataType for f in df.schema.fields]

types
> [StringType, LongType]

参考：

• pyspark.sql.types.StructType
• pyspark.sql.types.StructField

Answer 2

由于问题标题不是特定于python的，因此我将在此处添加NOT版本：

scala

这将导致val tyes = df.schema.fields.map(f => f.dataType) 的数组。

Answer 3

使用schema.dtypes

scala> val df = Seq(("ABC",10,20.4)).toDF("a","b","c")
df: org.apache.spark.sql.DataFrame = [a: string, b: int ... 1 more field]

scala>

scala> df.printSchema
root
 |-- a: string (nullable = true)
 |-- b: integer (nullable = false)
 |-- c: double (nullable = false)

scala> df.dtypes
res2: Array[(String, String)] = Array((a,StringType), (b,IntegerType), (c,DoubleType))

scala> df.dtypes.map(_._2).toSet
res3: scala.collection.immutable.Set[String] = Set(StringType, IntegerType, DoubleType)

scala>