Question

我的功能是

导入boto3 导入csv s3 = boto3.client（'s3'） dynamodb = boto3.resource（'dynamodb'）

def lambda_handler（事件，上下文）：

bucket='bucketname'
file_name='filename.csv'
obj = s3.get_object(Bucket=bucket,Key=file_name)
rows = obj['Body'].read()
lines = rows.splitlines()
# print(lines)
reader = csv.reader(lines)
parsed_csv = list(reader)
num_rows = (len(parsed_csv))
table = dynamodb.Table('table_name')
with table.batch_writer() as batch:
    for i in range(1,num_rows):
        Brand_Name= parsed_csv[i][0]
        Assigned_Brand_Name= parsed_csv[i][1]
        Brand_URL= parsed_csv[i][2]
        Generic_Name= parsed_csv[i][3]
        HSN_Code= parsed_csv[i][4]
        GST_Rate= parsed_csv[i][5]
        Price= parsed_csv[i][6]
        Dosage= parsed_csv[i][7]
        Package= parsed_csv[i][8]
        Size= parsed_csv[i][9]
        Size_Unit= parsed_csv[i][10]
        Administration_Form= parsed_csv[i][11]
        Company= parsed_csv[i][12]
        Uses= parsed_csv[i][13]
        Side_Effects= parsed_csv[i][14]
        How_to_use= parsed_csv[i][15]
        How_to_work= parsed_csv[i][16]
        FAQs_Downloaded= parsed_csv[i][17]
        Alternate_Brands= parsed_csv[i][18]
        Prescription_Required= parsed_csv[i][19]
        Interactions= parsed_csv[i][20]


        batch.put_item(Item={
            'Brand Name':Assigned_Brand_Name 
             'Brand URL':Brand_URL,
             'Generic Name':Generic_Name,
             'Price':Price,
             'Dosage':Dosage,
             'Company':Company,
             'Uses':Uses,
             'Side Effects':Side_Effects,
             'How to use':How_to_use,
             'How to work':How_to_work,
             'FAQs Downloaded?':FAQs_Downloaded,
             'Alternate Brands':Alternate_Brands,
             'Prescription Required':Prescription_Required,
             'Interactions':Interactions



            
        })

响应： { “ errorMessage”：“ 2020-10-14T11：40：56.792Z ecd63bdb-16bc-4813-afed-cbf3e1fa3625任务在3.00秒后超时” }

Answer 1

您尚未指定CSV文件有多少行。 “巨大”是非常主观的，因此您的任务可能由于在DynamoDB表上受限制而超时。

如果要在要加载的表上使用配置的容量，请确保分配了足够的容量。如果您使用按需容量，则可能是由于表需要扩展时发生了按需分区。

无论哪种方式，您都可能想在这种情况下添加一些错误处理，并在超时后在重试和恢复之前添加延迟。

需要记住的一点是，写入Dynamo始终需要1 WCU，而单个分区可以具有的最大容量是1000 WCU，因此随着您的写入吞吐量的增加，当您进入该表时，该表可能会在后台进行多次拆分按需模式。对于预配置模式，您必须首先分配足够的容量，否则，您将只能写入已分配的写入容量的项目/秒。

使用Lambda函数通过s3存储桶将巨大的.csv文件上传到dynamodb时出错，

1 个答案: