有时,当我想在AWS Glue中运行ETL作业时,会立即触发它。但是我经常碰巧,ETL Job需要花几分钟的时间才能做任何事情-我在日志中什么也看不到,只有“待执行”。有什么方法可以影响它的配置?还是完全由AWS决定何时开始工作?
答案 0 :(得分:3)
我知道这是一个旧线程,但是最近我遇到了相同的症状。您必须确认原因是否相同。我最初创建的工作是将数据从数据湖移入redshift数据库。创建作业时,它具有redshift连接作为必需资源,但是看来胶水无法在开始作业之前获取该资源,因此该作业将在每次启动之前失败...没有日志。 >
我通过从控制台编辑作业删除了对作业的要求的连接。 (操作->编辑作业->必需的连接->“ X”)
在我删除了要求之后,工作就很好了。我花了很长时间才弄清楚那个。希望它可以帮助其他人遇到相同的情况。