在Dataflow JavaScript UDF中删除记录

Question

我使用Dataflow预定义的GCS to BigQuery模板将一些数据从GCS导入BigQuery。 使用JavaScript UDF处理数据。

我想排除一些记录插入BigQuery。有没有办法用JavaScript UDF做到这一点？

Answer 1

对于您想要跳过的记录，您可以从UDF中发出undefined，这些记录将不再包含在输出中。

您可以在此处查看此功能的示例： https://github.com/GoogleCloudPlatform/DataflowTemplates#filtering-records

/**
 * A transform function which only accepts 42 as the answer to life.
 * @param {string} inJson
 * @return {string} outJson
 */
function transform(inJson) {
  var obj = JSON.parse(inJson);
  // only output objects which have an answer to life of 42.
  if (obj.hasOwnProperty('answerToLife') && obj.answerToLife === 42) {
    return JSON.stringify(obj);
  }
}