S3读取：以安全的方式处理文件

Question

我有一个用例，其中S3文件充当批处理应用程序的输入（用Java编写），并且文件大小已达到10 GB。

当前，此S3文件在本地持久保存，然后进行处理。这种方法的问题在于文件包含客户数据，因此在本地文件系统中它是不安全的（基本上，它不遵守静态加密规则）。

我们搜索了多种方法

1. 磁盘加密：由于它会生成临时文件，因此可能会减慢整个批处理的速度。 POC正在进行中。
2. 逐行流批处理输入文件并进行内存处理：将进行大量网络调用，并降低应用程序速度
3. 加密输入文件中的客户字段：不可行，因为有时会手动创建文件。

可以有一个工具来加密手动创建的文件，但是它不能扩展到所有客户端，需要更改SOP。

还有其他安全的方法来处理来自S3的较大的红色数据文件吗？

Answer 1

Amazon EBS卷可以被加密，这意味着数据被静态加密。它不会减慢磁盘访问速度，并且对Amazon EC2实例的操作透明。

请参阅：Amazon EBS Encryption - Amazon Elastic Compute Cloud

然后，您应确保最少的人具有登录EC2实例的能力。如果他们可以登录，则他们可以读取本地文件，并且很有可能使用分配的IAM角色从Amazon S3中读取源数据。

此外，查看您的IAM权限，因为任何有权拍摄EBS卷快照/ AMI的人都可以复制其内容以访问数据。最好的建议是只给人们角色所需的访问权限，仅此而已。