将数据从不可变的S3存储桶移动到数据块上的增量格式

时间:2020-09-09 05:44:35

标签: amazon-s3 delta aws-databricks

我是delta湖的新手,试图将存储在S3上的常用镶木文件转换为delta。我们的问题是原始的S3存储桶是只读的。 我们正在为每个存储区加载每次加载的增量数据。我的问题是将原始表转换为增量的最佳策略是什么。

  1. 我应该读取增量数据并加载到增量表吗?
  2. 或者只是尝试将新的实木复合地板文件直接复制到增量中。 还是其他方法?

0 个答案:

没有答案