AWS Glue如何删除/更新目标源（scala）中的字段

Question

我是scala和AWS Glue的新手。

我有一个CSV文件上传到S3，并且我还有另一个mysql表。我正在尝试从MySQL表中删除CSV文件。我正在使用scala。 我尝试的是创建两个临时视图并使用sparksql获取新的数据框，然后将数据框传输到新的动态框。

问题是我发现不允许使用“删除”，并且在尝试接收数据（在新的动态框架内）之后，被告知“键”的“重复条目” 12796”

val dataSourceRDSDf = dataSourceRDS.toDF()
dataSourceRDSDf.createOrReplaceTempView("CompanyTable")

val deletedSqlDf = sp.sql("DELETE FROM CompanyTable WHERE company_id = '14'")
deletedSqlDf.printSchema()
printf("oooooooooooooooooooooooooooooooooooooooooooooooooooooooo")
printf("You typed: %s", deletedSqlDf.show())
val deletedSqlDyf = DynamicFrame(deletedSqlDf, glueContext).withName("deleted_company_sql_dyf")
val dataSink = glueContext.getCatalogSink(database = catalogDatabase, tableName = targetMetadataTable, redshiftTmpDir = "",
  transformationContext = "dataSink").writeDynamicFrame(deletedSqlDyf)