我需要加密Bq表中的敏感字段,但我的加载是通过数据流完成的。我想到了3种不同的使用方法。
使用客户托管密钥加密整个表并在不同分类上创建3个视图,并向用户提供服务帐户以访问View并将该服务帐户角色作为Decrypter在KMS和Dataflow服务帐户中作为Encrypter加载表。 (问题我们没有视图级访问权限,因此在不同的数据集中维护所需的视图会使我们的工作更加困难)
使用服务帐户加载并使用UDF函数在Bq中运行时解密Colum数据时,使用数据流中的API调用加密字段。
示例ID字段在数据流中使用API调用加密我们在Bq中定义了一个UDF函数来解密它,但只有那些可以解密在KMS中有权访问的数据,否则会抛出异常
通过这种方式,我们保持对所有用户开放单表,但只有身份验证使用只能看到它。
问题:(在运行时连续调用API会导致我们的配额耗尽,成本又是另一个问题)
维护不同数据集中的不同表格a。具有敏感字段的加密表b。带有非敏感字段的非加密表。
问题:(在BQ中维护和制作数据并在运行时加入)
以上是我的方法和使用案例是否有人能够帮助我看看使用什么以及为什么它比其他人更好。