Question

我正在扫描云存储桶中的嵌套目录。尽管我打开了include_quote，但结果不包含匹配的值（quote）。另外，如何获取具有匹配项和匹配值的文件的名称？我正在使用Python。到目前为止，这就是我所拥有的。如您所见，该API找到了匹配项，但是我没有得到有关标记了哪些单词（和文件）的详细信息。

inspect_job = {
  'inspect_config': {
      'info_types': info_types,
      'min_likelihood': MIN_LIKELIHOOD,
      'include_quote': True,
      'limits': {
          'max_findings_per_request': MAX_FINDINGS
      },
  },
  'storage_config': {
      'cloud_storage_options': {
          'file_set': {
              'url':
                  'gs://{bucket_name}/{dir_name}/**'.format(
                      bucket_name=STAGING_BUCKET, dir_name=DIR_NAME)
          }
      }
  }


operation = dlp.create_dlp_job(parent, inspect_job)
dlp.get_dlp_job(operation.name)

这是结果：

result {
processed_bytes: 64
total_estimated_bytes: 64
info_type_stats {
  info_type {
    name: "EMAIL_ADDRESS"
  }
  count: 1
}
info_type_stats {
  info_type {
    name: "PHONE_NUMBER"
  }
  count: 1
}
info_type_stats {
  info_type {
    name: "FIRST_NAME"
  }
  count: 2
}

Answer 1

您需要遵循https://cloud.google.com/dlp/docs/inspecting-storage中的“检索检查结果”部分，并指定保存结果操作https://cloud.google.com/dlp/docs/reference/rest/v2/InspectJobConfig#SaveFindings

Answer 2

我认为您没有得到报价值，因为您的inspectConfig不太正确：根据{{3}}上的文档，您应该设置

  "includeQuote": true

编辑：添加有关获取文件的信息：遵循以下示例：https://cloud.google.com/dlp/docs/reference/rest/v2/InspectConfig

云函数resolve_DLP的代码从这样的作业详细信息中获取文件名

def resolve_DLP(data, context):
...
job = dlp.get_dlp_job(job_name)
...
file_path = (
      job.inspect_details.requested_options.job_config.storage_config
      .cloud_storage_options.file_set.url)
  file_name = os.path.basename(file_path)
...

编辑2：现在，我看到了最新的python API客户端，它使用'include_quote'：作为dict键。...事实并非如此...

编辑3：通过python api代码：

message Finding {
  // The content that was found. Even if the content is not textual, it
  // may be converted to a textual representation here.
  // Provided if `include_quote` is true and the finding is
  // less than or equal to 4096 bytes long. If the finding exceeds 4096 bytes
  // in length, the quote may be omitted.
  string quote = 1;

因此，较小的文件可能会产生引号

Answer 3

Rondo，感谢您的投入。我相信您提到的云存储示例为每个作业仅扫描一个文件。它不使用savefindings对象。

乔什，你是对的。似乎需要将输出定向到Bigquery或Pub / sub才能看到完整的结果。

来自https://cloud.google.com/dlp/docs/inspecting-storage#retrieving-inspection-results：

要获得完整的检查作业结果，您有两个选择。根据您选择的操作，检查作业为：

已保存到指定表中的BigQuery（SaveFindings对象）。在查看或分析结果之前，请先通过使用projects.dlpJobs.get方法（如下所述）确保作业已完成。请注意，您可以使用OutputSchema对象指定用于存储调查结果的架构。   发布到Cloud Pub / Sub主题（PublishToPubSub对象）。该主题必须具有运行DlpJob发送通知的Cloud DLP服务帐户的发布访问权限。

我通过修改解决方案How to scan BigQuery table with DLP looking for sensitive data?使它正常工作。

这是我最后的工作脚本：

import google.cloud.dlp
dlp = google.cloud.dlp.DlpServiceClient()

inspect_job_data = {
    'storage_config': {
      'cloud_storage_options': {
          'file_set': {
              'url':
                  'gs://{bucket_name}/{dir_name}/**'.format(
                      bucket_name=STAGING_BUCKET, dir_name=DIR_NAME)
          }
      }
  },
'inspect_config': {
    'include_quote': include_quote,
    'info_types': [
        {'name': 'ALL_BASIC'},
    ],
},
'actions': [
    {
        'save_findings': {
            'output_config':{
                'table':{
                    'project_id': GCP_PROJECT_ID,
                    'dataset_id': DATASET_ID,
                    'table_id': '{}_DLP'.format(TABLE_ID)
                }
            }

        },
    },
]

}

operation = dlp.create_dlp_job(parent=dlp.project_path(GCP_PROJECT_ID), 
inspect_job=inspect_job_data)

使用Google Cloud DLP API时如何获取扫描文件的位置？

3 个答案: