来自 S3 的 CSV 文件的数据屏蔽

时间:2021-04-08 16:18:38

标签: amazon-web-services amazon-s3 airflow masking

我的公司在德国工作,我们有一些处理数据的规则。

我的存储桶中有 CSV 文件。这些文件也有一些 PII(公共可识别信息)和非 PII 数据。我想屏蔽 PII 数据并将其保存在同一个存储桶中。我想在做最终报告时揭开它的面纱。

1 个答案:

答案 0 :(得分:0)

通常,在 AWS 中在存储桶内的文件夹级别设置权限比在存储桶级别设置权限要困难得多。由于存储桶基本上是免费的,因此我建议为 PII 和掩码 PII 数据设置单独的存储桶。

更好的解决方案可能是使用 Athena 视图公开屏蔽的 PII 数据。使用屏蔽 PII 数据的 SQL 构建视图并将该屏蔽视图公开给您的用户。这样您就不需要维护数据的两个副本、用于屏蔽数据的 ETL 作业或存储桶权限。

https://docs.aws.amazon.com/athena/latest/ug/views.html

相关问题