解析AWS Glue中动态数据框的架构

Question

我在AWS胶水中有一个动态数据框，它是使用下面的代码创建的。

val rawDynamicDataFrame = glueContext.getCatalogSource(
    database = rawDBName, 
    tableName = rawTableName, 
    redshiftTmpDir = "", 
    transformationContext = "rawDynamicDataFrame"
).getDynamicFrame()

为了获得上述动态框架的架构，我使用了以下代码：

val x = rawDynamicDataFrame.schema

现在x的类型为com.amazonaws.services.glue.schema.Schema。如何解析架构对象？

Answer 1

要检查模式中是否存在字段，请使用containsField(fieldPath)：

if (rawDynamicDataFrame.schema.containsField("app_name")) {
    // do something
}