在正常操作中，可以为google storage api提供加密密钥以加密给定的存储桶/ blob： https://cloud.google.com/compute/docs/disks/customer-supplied-encryption
这是否可以“动态”输出spark / hadoop作业？
假设我们想要加密spark写入的输出
df.write().format("json").save("gs:///somebucket/output");
在https://storage.googleapis.com/hadoop-conf/gcs-core-default.xml中，无法指定加密密钥。
这可能吗？
答案 0 :(得分：1)
如果您在询问客户提供的加密密钥当前是否在Cloud Dataproc上可用，则答案是否定的。 Here是Google当前加密的当前产品选项列表。
如果您只是想加密Spark写入的输出，您仍然可以使用Google的Cloud KMS在应用程序层加密。 Here's a codelab这样做是为了在Google云端存储中执行此操作（看起来就像您在上面的命令中所做的那样）。 请注意，默认情况下，客户内容在Google云平台上的存储层默认加密，因此这是另一层保护。