如何使用Ruby使用GPG在S3中流式传输和解密大型文件

时间:2018-01-28 09:04:59

标签: ruby encryption gpgme

我正在使用S3中的非常大的文件,需要在S3中解密并保存回来。我们的磁盘空间和内存有限,因此流媒体是我们的最佳选择。

我正在使用ruby-gpgme宝石。

这是我到目前为止所拥有的:

require 'gpgme'
require 'aws-sdk'

s3_credentials = Aws::Credentials.new(AWS_ACCESS_KEY_ID, AWS_SECRET_KEY_ID)
s3_client = Aws::S3::Client.new(credentials: s3_credentials)

source_file = 'in_file.gpg'
object_key = "upload/#{source_file}"
destination = File.open('out.txt', 'w+b')

crypto = GPGME::Crypto.new
source = File.open(source_file)

s3_client.get_object(bucket: bucket, key: object_key) do |chunk|
  crypto.decrypt(chunk, password: password, output: destination)
end

# As a follow-up, I will setup the script to stream directly back out to S3
# S3.get_object > GPG.decrypt > S3.upload_part

这成功解密并写入第一个块,但解密在处理下一个块之前失败。

我假设这是因为第一个块没有正确终止,而且.decrypt没有连续从流本身读取。

关于如何将块作为流传递来解密的任何想法?

1 个答案:

答案 0 :(得分:0)

这是您可以查看的另一种方法:

https://speakerdeck.com/julik/streaming-large-files-with-ruby