Cloud Dataflow BQ输出挂起作业，用于TLS握手错误

Question

My Cloud Dataflow作业挂起。

管道：

Pipeline p = Pipeline.create(options);
p.apply(TextIO.Read.named("ReadFiles").from(options.getInputFile()).withCompressionType(CompressionType.GZIP))
.apply(new ProcessRecords(eventType))
.apply(BigQueryIO.Write.to(options.getOutput()).withSchema(options.getBigQuerySchema())
        .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_NEVER)
        .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE));
p.run();

从工作日志中我只能看到

Kubelet is healthy?: true
TLS handshake error from 172.17.0.2:41759: EOF
shutdown[7231]: shutting down for system halt

输出到GCS文件时的工作相同，工作正常。

JobID：2016-12-28_15_23_54-4009520083656203603

我已多次尝试过，但每次都是同样的问题。

Answer 1

管道构造代码或数据流没有任何问题。 TextIO写操作比BigQueryIO写快。

如果您每次都注意到所有步骤只需转到“正在运行”状态而不显示处理速度或其他任何内容，那么它就没有任何问题。

挖掘工作日志可能会显示TLS握手错误或关闭或系统暂停。这绝对正常。只是让工作进一步发挥，应该没问题。