如何在Scala中将DataFrame转换为DynamicFrame对象

Question

我尝试将部分pySpark代码转换为Scala以提高性能。在AWS Glue（使用Apache Spark）中，会自动为您生成一个脚本，它通常使用DynamicFrame对象来加载，转换和写入数据。但是，DynamicFrame类与DataFrame类不具有所有相同的功能，有时您必须转换回DataFrame对象，反之亦然，以执行某些操作。以下是我在pySpark中从DataFrame转换为DynamicFrame个对象的方法：

    // PySpark version
    // datasource is a DynamicFrame object
    datasource0 = datasource.toDF().limit(5000000)
    applymapping1 = DynamicFrame.fromDF(datasource0, glueContext, "applymapping1")

Scala中是否有与fromDF等效的函数还原为DynamicFrame对象？

Answer 1

DynamicFrame对象有apply method：

val dynamicFrame = DynamicFrame(dataframe, glueContext)