我正在尝试编写AWS Glue ETL作业,该作业根据最新的架构版本更新架构。
我知道这通常不是理想的行为,但为了最大限度地减少输出文件的数量,是否可以直接对源数据进行转换,以便将转换后的数据加载回同一路径? />
或者是否可以删除源路径中的数据,然后将其重写到同一目的地?
答案 0 :(得分:0)
除非您要自动执行该过程,否则无需ETL作业即可编辑架构。您可以使用AWS Glue crawler生成的数据目录的编辑模式功能。
编辑架构后,您可以看到AWS Glue
自动维护的表版本此外,您还可以比较表的版本