python shell 作业在 AWS Glue 上运行,因此它们使用分配给 GLUE 的 DPU,我正在浏览一些教程,在这些教程中他们运行触发 redshift 的 sql 查询。我担心的是计算是在 redshift 上进行的不会发生在 SPARK GLUE 作业的情况下,它在自己的平台上进行所有处理,创建 sql 查询并进行计算和其他工作。
如果我的工作不是非常占用资源,并且我不需要 spark 来处理它并在 python shell 上处理它,而是使用胶水资源而不是在数据库上运行作业,我如何实现同样的事情。
请帮助我了解如何实现它?