Question

我有一个脚本，该脚本使用boto3 AWS开发工具包将目录中的文件上传到s3。我已经使用了数周没有问题，今天它会随机上传文件（5个文件中的1-3个）并抛出以下错误：

  File "/usr/lib/python3.8/site-packages/urllib3/connection.py", line 159, in _new_conn
  conn = connection.create_connection(
  File "/usr/lib/python3.8/site-packages/urllib3/util/connection.py", line 61, in create_connection
  for res in socket.getaddrinfo(host, port, family, socket.SOCK_STREAM):
  File "/usr/lib/python3.8/socket.py", line 918, in getaddrinfo
  for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
  socket.gaierror: [Errno -2] Name or service not known

下面是我的代码，我添加了time.sleep（2）作为一种故障排除方法，以查看是否我发出请求的速度过快，但并不能解决问题。

import boto3
from botocore.exceptions import NoCredentialsError
import os
import time


def upload_to_aws(local_file, bucket, s3_file):
    access_key = 'ACCESS_KEY'
    secret_key = 'SECRETS'

    s3 = boto3.client('s3', aws_access_key_id=access_key,
                      aws_secret_access_key=secret_key)

    try:
        s3.upload_file(local_file, bucket, s3_file)
        return True
    except FileNotFoundError:
        return False
    except NoCredentialsError:
        return False


def archive_to_s3(files):
    for file in files:
        upload_to_aws('daily_data/'+file, 'bucket', '2020/'+file)
        os.remove('daily_data/'+file)
        time.sleep(2)

其他信息：

Nameservers:
1.1.1.1
1.0.0.1

非常感谢您的帮助。

更新：

如下所示，我在端点上进行了挖掘，将1.1.1.1显示为服务器，并在终端启用了DEBUG日志记录。当我运行第一个测试以获取日志时，它可以正常工作，并按预期方式上载了所有文件。

Answer 1

这就是我用来上传到我的AWS S3存储桶的方法，它可以完美运行：

import boto3


BUCKET = 'myBucket'
s3 = boto3.client("s3", aws_access_key_id=os.environ.get('AWS_ACCESS_KEY_ID'), aws_secret_access_key=os.environ.get('AWS_SECRET_ACCESS_KEY'))
bucket_resource = s3

bucket_resource.upload_file(Bucket = BUCKET, Filename=picture_fn, Key=picture_fn) # uploading

boto3错误：socket.gaierror：[Errno -2]名称或服务未知

1 个答案: