如何将记录器信息从AWS GLUE作业写入s3存储桶

时间:2020-07-02 05:05:37

标签: python amazon-web-services amazon-s3 aws-glue

我有一个小脚本,它将记录程序信息保存在本地文件系统中

但是我打算在AWS Glue中运行此文件,并想将日志保存在s3存储桶中,我给出了路径,程序运行成功,但是文件未保存在S3中

import logging, pandas as pd
import boto3


s3 = boto3.client('s3')


#logging configuration
#logging levels are INFO,Debug,Error,WARN,FATAL



logging.basicConfig(filename='<bucketname>/spark.logs',level=logging.INFO)

#spark = createSparkDriver()
logging.info('Spark driver created sucessfully {}'.format('SUCCESS'))

logging.info('source_df printSchema')

print('DoneSUCCESS')

有人可以帮我吗

0 个答案:

没有答案