自定义Cloudwatch日志组以执行胶水作业

Question

默认情况下，我有AWS GLUE Python应用程序，分别在/aws-glue/jobs/output和/aws-glue/jobs/error的Cloudwatch Log Group stdout和stderr中提供日志。我浏览了AWS文档和一些网站，以了解有关将日志重定向到自定义Cloudwatch日志组（如/dev/<app_name>/）的过程，但是没有运气。如果有人对此有任何想法，请分享过程。

Answer 1

您可以通过向Glue作业传递参数来实现此目的：

'--continuous-log-logGroup': 'custom_log_group_name'

有关docs的更多详细信息。

Answer 2

对于Spark型胶水作业，您可以启用连续日志记录，但是对于python shell型胶水作业，连续日志记录不可用，因此您将无法为此创建自定义日志组，但是有一个解决方法。请参阅下面的更多信息

How to use a CloudWatch custom log group with Python Shell Glue job?