如何使用胶水资源运行 python Shell 胶水作业?

时间:2021-07-05 05:54:43

标签: python aws-glue aws-glue-data-catalog aws-glue-spark

python shell 作业在 AWS Glue 上运行,因此它们使用分配给 GLUE 的 DPU,我正在浏览一些教程,在这些教程中他们运行触发 redshift 的 sql 查询。我担心的是计算是在 redshift 上进行的不会发生在 SPARK GLUE 作业的情况下,它在自己的平台上进行所有处理,创建 sql 查询并进行计算和其他工作。

如果我的工作不是非常占用资源,并且我不需要 spark 来处理它并在 python shell 上处理它,而是使用胶水资源而不是在数据库上运行作业,我如何实现同样的事情。

请帮助我了解如何实现它?

0 个答案:

没有答案
相关问题