如何熟悉awsglue和pyspark中的日志

时间:2019-12-30 10:57:27

标签: apache-spark pyspark aggregate aws-glue

我是使用awsglue的新手。

我想在cloudwatch上创建日志。我该怎么办才能更快查看日志?

logger = glueContext.get_logger()
logger.info("Resultcount" + str(df.select(F.countDistinct(df.struct1.field1)).collect()[0][0])

1 个答案:

答案 0 :(得分:0)

您无需执行任何操作。默认情况下,AWS Glue在Cloudwatch中创建日志。运行作业后,在作业历史记录中单击与您的作业相对应的日志,然后可以在Cloudwatch中检查打印语句。 Please refer here for a sample cloudwatch log of dataframe.show()