目标是存储来自不同应用程序/作业的审核日志记录,并能够通过某些ID对其进行汇总。为此,我们选择使用BigQuery,因此我们需要从日志中获取结构化信息到BigQuery。
我们成功使用了部署在kubernetes引擎中的应用程序,该应用程序将输出日志作为json字符串记录到stdout并进行了解析,并且该结构可以在堆栈驱动器中视为jsonPayload
。我们从this tutorial那里拿走了。
但是,当我在数据流作业中使用相同的日志追加器时,它不会被视为结构化消息,而会在jsonPayload.message
字段中被视为字符串。
我需要两件事的结构:
最简单的方法是什么?