即使在被触发时,粘着作业也不会对表中的所有记录进行快照,但是当我按需运行时,它会对表中的所有记录进行快照。
我有一个Glue作业,每天对从Redshift到S3存储桶的五个表进行快照。当我手动运行作业(按需运行)时,我在S3中获得了正确的记录计数(与redshift表相同),但是每天在触发器上运行该作业时,每个表在S3中仅获得几百条记录。
该代码是Glue生成的脚本,用于以拼花形式将表写入s3。
我希望所有记录每天都会出现。如果我看到的帐号id为123,则应该在每日快照下看到每天的记录,但是我只能看到按需运行的日子的id 123。胶水似乎不对触发器下的所有表进行快照。