Question

我有一个http端点-当我以表名作为查询字符串参数命中端点时-我只得到LastEvaluatedKey的部分结果

import boto3
import json

print('Loading function')
dynamo = boto3.client('dynamodb')


def respond(err, res=None):
    return {
        'statusCode': '400' if err else '200',
        'body': err.message if err else json.dumps(res),
        'headers': {
            'Content-Type': 'application/json',
        },
    }


def lambda_handler(event, context):

    operations = {
        'DELETE': lambda dynamo, x: dynamo.delete_item(**x),
        'GET': lambda dynamo, x: dynamo.scan(**x),
        'POST': lambda dynamo, x: dynamo.put_item(**x),
        'PUT': lambda dynamo, x: dynamo.update_item(**x),
    }

    operation = event['httpMethod']
    if operation in operations:
        payload = event['queryStringParameters'] if operation == 'GET' else json.loads(event['body'])
        return respond(None, operations[operation](dynamo, payload))
    else:
        return respond(ValueError('Unsupported method "{}"'.format(operation)))

如何确保扫描表格的所有页面。

Answer 1

https://docs.aws.amazon.com/amazondynamodb/latest/APIReference/API_Scan.html

如果扫描的项目总数超过最大数据集大小限制为1 MB，扫描将停止并将结果返回给用户 LastEvaluatedKey值，以在后续步骤中继续扫描操作。结果还包括超过限制。扫描可能导致没有符合过滤条件的表数据。

您需要重新查询，并提供LastEvaluatedKey。

ExclusiveStartKey   操作将评估。使用返回的值   上一个操作中的LastEvaluatedKey。

ExclusiveStartKey的数据类型必须为字符串，数字或二进制。   不允许设置数据类型。

在并行扫描中，包括ExclusiveStartKey的扫描请求   必须指定同一段，其先前的扫描返回了   相应的LastEvaluatedKey的值。

类型：字符串到AttributeValue对象的映射

密钥长度约束：最大长度为65535。

必填：否

循环并从https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/GettingStarted.Python.04.html#GettingStarted.Python.04.Scan开始检查的代码示例：

while 'LastEvaluatedKey' in response:
    response = table.scan(
        ProjectionExpression=pe,
        FilterExpression=fe,
        ExpressionAttributeNames= ean,
        ExclusiveStartKey=response['LastEvaluatedKey']
        )

Answer 2

import boto3
import json
import re

def lambda_handler(event, context):
    dynamodb = boto3.resource('dynamodb')
    table = dynamodb.Table('master')

    response = table.scan()
    data = response['Items']

    while 'LastEvaluatedKey' in response:
        response = table.scan(ExclusiveStartKey=response['LastEvaluatedKey'])
        data.extend(response['Items'])

    return {
        'statusCode': 200,
        'headers': {
            'Access-Control-Allow-Origin' : '*',
        },
        'body': json.dumps(data)
    }

Dynamodb扫描停止，并使用LastEvaluatedKey返回结果

2 个答案: