如何从Pyspark的DataFrame中获取数字列并计算zscore

Question

sparkSession = SparkSession.builder.appName("example").getOrCreate()
df = sparkSession.read.json('hdfs://localhost/abc/zscore/')

我能够从hdfs读取数据，我想只为数字列计算zscore

Answer 1

您可以将df转换为Pandas并计算zscore

sparkSession = SparkSession.builder.appName("example").getOrCreate()
df = sparkSession.read.json('hdfs://localhost/SmartRegression/zscore/').toPandas()
num_cols = df._get_numeric_data().columns
results = df[num_cols].apply(zscore)
print results

Answer 2

toPandas()不适用于大型数据集，因为这会尝试将整个数据集加载到驱动程序内存中。