如何从AWS胶水中的动态数据框中删除错误记录？

Question

我有一个动态数据框，其中包含错误记录。请找到下面的代码。

val rawDataFrame = glueContext.getCatalogSource(database = rawDBName, tableName = rawTBLName).getDynamicFrame();
    println(s"RAW_DF-----count: ${rawDataFrame.count} errors: ${rawDataFrame.errorsCount}")

上面的打印语句打印如下。

RAW_DF-----count: 168456 errors: 4

我需要创建一个仅包含168456条记录的动态数据框，并且需要消除4条错误记录。请帮忙。

Answer 1

错误记录未转换为Spark的DataFrame，因此请尝试将DynamicFrame转换为df并返回：

val noErrorsDyf = DynamicFrame(rawDataFrame.toDF(), glueContext)