S3读取:以安全的方式处理文件

时间:2019-06-13 09:36:28

标签: java amazon-web-services security amazon-s3

我有一个用例,其中S3文件充当批处理应用程序的输入(用Java编写),并且文件大小已达到10 GB。

当前,此S3文件在本地持久保存,然后进行处理。这种方法的问题在于文件包含客户数据,因此在本地文件系统中它是不安全的(基本上,它不遵守静态加密规则)。

我们搜索了多种方法

  1. 磁盘加密:由于它会生成临时文件,因此可能会减慢整个批处理的速度。 POC正在进行中。
  2. 逐行流批处理输入文件并进行内存处理:将进行大量网络调用,并降低应用程序速度
  3. 加密输入文件中的客户字段:不可行,因为有时会手动创建文件。

可以有一个工具来加密手动创建的文件,但是它不能扩展到所有客户端,需要更改SOP。

还有其他安全的方法来处理来自S3的较大的红色数据文件吗?

1 个答案:

答案 0 :(得分:0)

Amazon EBS卷可以被加密,这意味着数据被静态加密。它不会减慢磁盘访问速度,并且对Amazon EC2实例的操作透明。

请参阅:Amazon EBS Encryption - Amazon Elastic Compute Cloud

然后,您应确保最少的人具有登录EC2实例的能力。如果他们可以登录,则他们可以读取本地文件,并且很有可能使用分配的IAM角色从Amazon S3中读取源数据。

此外,查看您的IAM权限,因为任何有权拍摄EBS卷快照/ AMI的人都可以复制其内容以访问数据。最好的建议是只给人们角色所需的访问权限,仅此而已。