尝试从嵌套xml文件的每个级别创建多个spark数据帧

Question

所以我正在使用databricks社区版使用pyspark实现将xml文件解析为spark数据帧，并希望创建每个xml级别的多个数据帧

我编写了一段代码，在其中读取xml并将顶级节点展平为单个数据帧

df_xml = spark.read.format('com.databricks.spark.xml').options(rootTag='POSLog',rowTag='Transaction').load(file_location)

from pyspark.sql.functions import *

def flatten_df(nested_df):
    exist = True
    while exist:
        flat_cols = [c[0] for c in nested_df.dtypes if c[1][:6] != 'struct']
        nested_cols = [c[0] for c in nested_df.dtypes if c[1][:6] == 'struct']
        if len(nested_cols) > 0:
          print(nested_cols)
          flat_df = nested_df.select(flat_cols +
                                     [col("`"+nc+'`.`'+c+"`").alias((nc+'_'+c).replace(".","_"))
                                      for nc in nested_cols
                                      for c in nested_df.select("`"+nc+'`.*').columns])
          nested_df=flat_df
          #break
        else:
          exist = False
    return flat_df
df1=flatten_df(df_xml)
display(df1)

但是，我无法/不知道如何访问相关数据框的列，以便我可以遍历并获取其他数据框。