日志记录模块未在/ tmp /文件夹中创建日志文件

Question

我想捕获在a3胶上运行到s3上的python脚本的日志。我正在使用日志记录模块来做到这一点。由于日志记录模块无法直接写入s3，因此我将内容写入/tmp/+filename.log中间位置的文件中。下面是代码

    logging.basicConfig(filename='/tmp/HMG_Log.log',
                    format= fmt,
                    datefmt='%Y-%m-%d,%H:%M:%S', level=logging.INFO)

在编写时，我使用如下的upload_file命令将其上传到s3：

s3.meta.client.upload_file('/tmp/HMG_Log.log',bucketname,batch +'BatchLogs/'+ LogName)

上传失败 OSError：[Errno 2]没有这样的文件或目录：'/tmp/HMG_Log.log'“

有什么建议吗？谢谢。

有趣的是，当我将胶粘作业作为pyspark脚本而不是spark运行时，执行效果也很好。