将元数据添加到Pyspark ML中的SqlTransformer中的计算字段中

Question

将元数据添加到pyspark中的新字段很容易

$entityManager->flush();

但作为ML管道的一部分，我需要在SqlTransformer中进行此操作，没有自定义转换器。 所以在我做完之后：

df.withColumn("foo", col("foo").alias("", metadata={...}))

我想将scaledFeatures列名称替换回要素。 像这样：

scalerTransformer = StandardScaler(inputCol='features',
                                   outputCol='scaledFeatures')

，但元数据存储在feautres列中 我这样做的原因是缺乏对JPMML-sparkml库中的自定义转换和某些类型的转换器的支持。