大数据文件的数据丢失防护

Question

我已经将一个大数据应用程序迁移到了云上，并且输入文件存储在GCS中。这些文件可以具有不同的格式，例如txt，csv，avro，parquet等，这些文件包含我要屏蔽的敏感数据。

我还阅读了文件大小的一些配额限制。就我而言，一个文件可以包含1500万条记录。

我已经尝试过DLP UI和客户端库来检查那些文件，但无法正常工作。

Github页面-https://github.com/Hitman007IN/DataLossPreventionGCPDemo

在资源下有2个文件。 test.txt可以正常工作，而test1.txt却是我在应用程序中使用的示例文件，无法正常工作。

Answer 1

Google Cloud DLP上周刚刚启动了对本机扫描Avro文件的支持。