AWS Glue中的ETL作业 - 是否可以覆盖数据?

时间:2018-02-16 20:07:27

标签: amazon-web-services etl aws-glue

我正在尝试编写AWS Glue ETL作业,该作业根据最新的架构版本更新架构。

我知道这通常不是理想的行为,但为了最大限度地减少输出文件的数量,是否可以直接对源数据进行转换,以便将转换后的数据加载回同一路径? /> 或者是否可以删除源路径中的数据,然后将其重写到同一目的地?

1 个答案:

答案 0 :(得分:0)

除非您要自动执行该过程,否则无需ETL作业即可编辑架构。您可以使用AWS Glue crawler生成的数据目录的编辑模式功能。

  • 导航至AWS Glue的表格
  • 选择要更改架构的表格
  • 您可以在表格中找到编辑架构按钮

编辑架构后,您可以看到AWS Glue

自动维护的表版本

此外,您还可以比较表的版本