Dataflow Logs UI中列出的所有不同日志是什么？

Question

在Cloud Dataflow Logging UI中，我看到了4个不同的日志

1. 数据流-线束
2. 数据流-线束标准输出
3. 数据流工起动
4. 洗牌

每个日志代表什么？

这是一个显示我的意思的屏幕截图。

Answer 1

dataflow-harness 和 dataflow-harness-stdout 是java worker harness生成的日志。工作人员完成大部分工作（例如将ParDo应用于数据）。

选择 dataflow-harness 将显示java worker harness记录的所有消息。

我们还获取了java worker harness的stdout / stderr，这些日志显示在 dataflow-harness-stdout 下。我们这样做是为了捕获Java记录器可能无法捕获的任何信息，例如JVM崩溃时的堆栈转储。

dataflow-worker-starter 记录与启动java worker harness相关的消息。启动过程基本上包括从GCS下载作业的jar，然后启动java worker harness。因此，如果在启动java worker harness时出现问题，这也是个好看的地方。

最后在 shuffle 下，您将找到来自洗牌机的日志。