带boto3的DynamoDB-限制充当页面大小

时间:2019-06-05 13:42:50

标签: python amazon-dynamodb boto3

根据boto3 docslimit中的query自变量允许您限制 DynamoDB表/ GSI中已评估对象的数量。

但是,LastEvaluatedKey不会在达到所需的限制时返回,因此想要限制获取结果数量的客户端将无法这样做

考虑以下代码:

        while True:
            query_result = self._dynamodb_client.query(**query_kwargs)
            for dynamodb_formatted_item in query_result["Items"]:
                yield self._convert_dict_from_dynamodb_key_names(
                    from_dynamodb_formatted_dict_to_dict(dynamodb_formatted_item)
                )

            if "LastEvaluatedKey" not in query_result:
                return

我在这里想念什么吗? 这是Boto库中的错误吗?

1 个答案:

答案 0 :(得分:0)

您的示例代码缺少将LastEvaluatedKey作为ExclusiveStartKey参数反馈到查询中的关键部分!因此,您要在循环中重试相同的查询,而不是在上一个查询停止的地方继续进行。

例如,这是工作代码(我生成了一个数组,它不像您做的那样酷;​​-)):

def full_query(table, **kwargs):
    response = table.query(**kwargs)
    items = response['Items']
    while 'LastEvaluatedKey' in response:
        response = table.query(ExclusiveStartKey=response['LastEvaluatedKey'], **kwards)
        items.extend(response['Items'])
    return items

您现在可以运行

full_query(Limit=37, KeyConditions={...})

并获取所有结果,分批提取37个。