如何从数据流作业发送和过滤结构化日志

时间:2019-04-18 07:51:05

标签: google-cloud-dataflow logback apache-beam google-cloud-stackdriver

目标是存储来自不同应用程序/作业的审核日志记录,并能够通过某些ID对其进行汇总。为此,我们选择使用BigQuery,因此我们需要从日志中获取结构化信息到BigQuery。

我们成功使用了部署在kubernetes引擎中的应用程序,该应用程序将输出日志作为json字符串记录到stdout并进行了解析,并且该结构可以在堆栈驱动器中视为jsonPayload。我们从this tutorial那里拿走了。

但是,当我在数据流作业中使用相同的日志追加器时,它不会被视为结构化消息,而会在jsonPayload.message字段中被视为字符串。

我需要两件事的结构:

  • custom exporter的过滤器中使用它来进行大查询
  • 具有here中描述的BigQuery结构

最简单的方法是什么?

0 个答案:

没有答案