Question

我必须从csv文件（列名和数据类型）中获取模式。到目前为止，我已经达到了-

l = [('Alice', 1)]
Person = Row('name', 'age')
rdd = sc.parallelize(l)
person = rdd.map(lambda r: Person(*r))
df2 = spark.createDataFrame(person)
print(df2.schema)
#StructType(List(StructField(name,StringType,true),StructField(age,LongType,true)))

我想提取值name和age以及StringType和LongType，但是我看不到任何有关结构类型的方法。

scala中有toDDL种结构类型的方法，但python无法使用。

这是我已经获得帮助的上述问题的扩展，但是我想创建一个新线程- Get dataframe schema load to metadata table

感谢您的答复，我正在更新完整的代码-

import pyspark # only run after findspark.init()
from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.sql.catalogImplementation", "in-memory") \
    .getOrCreate()
from pyspark.sql import Row
l = [('Alice', 1)]
Person = Row('name', 'age')
rdd = sc.parallelize(l)
person = rdd.map(lambda r: Person(*r))
df2 = spark.createDataFrame(person)
df3=df2.dtypes
df1=spark.createDataFrame(df3, ['colname', 'datatype'])
df1.show()
df1.createOrReplaceTempView("test")
spark.sql('''select * from test ''').show()

输出

+-------+--------+
|colname|datatype|
+-------+--------+
|   name|  string|
|    age|  bigint|
+-------+--------+

+-------+--------+
|colname|datatype|
+-------+--------+
|   name|  string|
|    age|  bigint|
+-------+--------+

Answer 1

IIUC，您可以遍历df2.schema.fields中的值并获得name和dataType：

print([(x.name, x.dataType) for x in df2.schema.fields])
#[('name', StringType), ('age', LongType)]

还有dtypes：

print(df2.dtypes)
#[('name', 'string'), ('age', 'bigint')]

，您可能也会对printSchema()感兴趣：

df2.printSchema()
#root
# |-- name: string (nullable = true)
# |-- age: long (nullable = true)

从pyspark数据框中的结构类型获取字段值

1 个答案: