我正在编写Apache Beam BAtch数据流,其中是从GCS到BQ的数据流。 我的数据包含 400万条记录。我指定了 n1-HighMem-8 机器类型。我的数据流仅以少量数据工作。
我的用例架构不是固定的,因此我使用了 .getFailedInserts()方法来获取未插入架构的失败记录。
我将它们分组并通过GCS在同一数据流中使用BQ加载作业写入BQ。
对于这种数量的数据,我收到以下7次错误,然后出现数据流错误:
E EXT4-fs(dm-0):由于功能不兼容而无法安装为ext3 E初始化动态插件探测程序时出错:错误(重新)创建驱动程序目录:mkdir / usr / libexec / kubernetes:只读文件系统
E初始化动态插件探测程序时出错:错误(重新)创建驱动程序目录:mkdir / usr / libexec / kubernetes:只读文件系统 E图像垃圾收集一次失败。统计信息初始化可能尚未完成:无法获取imageFs信息:无法找到容器/的数据
图像垃圾收集失败一次。统计信息初始化可能尚未完成:无法获取imageFs信息:无法找到容器/
的数据[ContainerManager]:无法获取rootfs信息,无法找到容器的数据/
E PercpuUsage具有0 cpus,但实际数量为8;忽略额外的CPU E EXT4-fs(dm-0):由于功能不兼容而无法安装为ext3
E EXT4-fs(dm-0):由于功能不兼容而无法安装为ext3 E初始化动态插件探测程序时出错:错误(重新)创建驱动程序目录:mkdir / usr / libexec / kubernetes:只读文件系统
E初始化动态插件探测程序时出错:错误(重新)创建驱动程序目录:mkdir / usr / libexec / kubernetes:只读文件系统 E图像垃圾收集一次失败。统计信息初始化可能尚未完成:无法获取imageFs信息:无法找到容器/的数据
在连续8次测量到的GC抖动之后,关闭JVM。已使用的内存/总内存/最大值= 27662/33436/33436 MB,GC last / max = 93.00 / 95.00%,#pushbacks = 0,gc thrashing = true。堆转储未编写。