我正在编写Apache Beam BAtch数据流，其中是从GCS到BQ的数据流。 我的数据包含 400万条记录。我指定了 n1-HighMem-8 机器类型。我的数据流仅以少量数据工作。
我的用例架构不是固定的，因此我使用了 .getFailedInserts（）方法来获取未插入架构的失败记录。
我将它们分组并通过GCS在同一数据流中使用BQ加载作业写入BQ。
对于这种数量的数据，我收到以下7次错误，然后出现数据流错误：
E EXT4-fs（dm-0）：由于功能不兼容而无法安装为ext3 E初始化动态插件探测程序时出错：错误（重新）创建驱动程序目录：mkdir / usr / libexec / kubernetes：只读文件系统
E初始化动态插件探测程序时出错：错误（重新）创建驱动程序目录：mkdir / usr / libexec / kubernetes：只读文件系统 E图像垃圾收集一次失败。统计信息初始化可能尚未完成：无法获取imageFs信息：无法找到容器/的数据
图像垃圾收集失败一次。统计信息初始化可能尚未完成：无法获取imageFs信息：无法找到容器/
的数据[ContainerManager]：无法获取rootfs信息，无法找到容器的数据/
E PercpuUsage具有0 cpus，但实际数量为8；忽略额外的CPU E EXT4-fs（dm-0）：由于功能不兼容而无法安装为ext3
E EXT4-fs（dm-0）：由于功能不兼容而无法安装为ext3 E初始化动态插件探测程序时出错：错误（重新）创建驱动程序目录：mkdir / usr / libexec / kubernetes：只读文件系统
E初始化动态插件探测程序时出错：错误（重新）创建驱动程序目录：mkdir / usr / libexec / kubernetes：只读文件系统 E图像垃圾收集一次失败。统计信息初始化可能尚未完成：无法获取imageFs信息：无法找到容器/的数据
在连续8次测量到的GC抖动之后，关闭JVM。已使用的内存/总内存/最大值= 27662/33436/33436 MB，GC last / max = 93.00 / 95.00％，＃pushbacks = 0，gc thrashing = true。堆转储未编写。