Question

所以，我有一个带有主分区键列的dynamodb表foo_id，没有主要的排序键。我有一个foo_id值列表，并希望获得与此ID列表相关的观察结果。

我认为最好的方法（？）是使用batch_get_item()，但这对我来说不合适。

    # python code
    import boto3
    client = boto3.client('dynamodb')

    # ppk_values = list of `foo_id` values (strings) (< 100 in this example)
    x = client.batch_get_item(
        RequestItems={
            'my_table_name':
                {'Keys': [{'foo_id': {'SS': [id for id in ppk_values]}}]}
        })

我正在使用SS因为我传递了一个字符串列表（foo_id值列表），但我得到了：

ClientError: An error occurred (ValidationException) when calling the
BatchGetItem operation: The provided key element does not match the
schema

所以我认为这意味着它认为foo_id包含列表值而不是字符串值，这是错误的。

- ＆GT;这种解释是对的吗？批量查询一堆主分区键值的最佳方法是什么？

Answer 1

密钥应如下所述。它不能被称为'SS'。

基本上，您可以将DynamoDB String数据类型与String（即不与SS）进行比较。每个项目都单独处理。 与查询中的SQL 不相似。

'Keys': [
            {
                'foo_id': key1
            },
            {
                'foo_id': key2
            }
],

示例代码： -

您可能需要更改表名和键值。

from __future__ import print_function # Python 2/3 compatibility
import boto3
import json
import decimal
from boto3.dynamodb.conditions import Key, Attr
from botocore.exceptions import ClientError

# Helper class to convert a DynamoDB item to JSON.
class DecimalEncoder(json.JSONEncoder):
    def default(self, o):
        if isinstance(o, decimal.Decimal):
            if o % 1 > 0:
                return float(o)
            else:
                return int(o)
        return super(DecimalEncoder, self).default(o)

dynamodb = boto3.resource("dynamodb", region_name='us-west-2', endpoint_url="http://localhost:8000")

email1 = "abc@gmail.com"
email2 = "bcd@gmail.com"

try:
    response = dynamodb.batch_get_item(
        RequestItems={
            'users': {
                'Keys': [
                    {
                        'email': email1
                    },
                    {
                        'email': email2
                    },
                ],            
                'ConsistentRead': True            
            }
        },
        ReturnConsumedCapacity='TOTAL'
    )
except ClientError as e:
    print(e.response['Error']['Message'])
else:
    item = response['Responses']
    print("BatchGetItem succeeded:")
    print(json.dumps(item, indent=4, cls=DecimalEncoder))

Answer 2

Boto3现在具有batch_get_item版本，可让您以更自然的Python方式传递密钥，而无需指定类型。

您可以在https://github.com/awsdocs/aws-doc-sdk-examples中找到完整且有效的代码示例。该示例处理了有关重试的其他一些细微差别，但这是回答该问题的代码部分的摘要：

import logging
import boto3

dynamodb = boto3.resource('dynamodb')
logger = logging.getLogger(__name__)

movie_table = dynamodb.Table('Movies')
actor_table = dyanmodb.Table('Actors')

batch_keys = {
    movie_table.name: {
        'Keys': [{'year': movie[0], 'title': movie[1]} for movie in movie_list]
    },
    actor_table.name: {
        'Keys': [{'name': actor} for actor in actor_list]
    }
}

response = dynamodb.batch_get_item(RequestItems=batch_keys)

for response_table, response_items in response.items():
    logger.info("Got %s items from %s.", len(response_items), response_table)

Answer 3

批准的答案不再有效。

对我来说，工作呼叫格式如下：

import boto3
client = boto3.client('dynamodb')

# ppk_values = list of `foo_id` values (strings) (< 100 in this example)
x = client.batch_get_item(
    RequestItems={
        'my_table_name': {
            'Keys': [{'foo_id': {'S': id}} for id in ppk_values]
        }
    }
)

需要类型信息。对我来说，字符串键是“ S”。没有它，我会出错，说库找到了str，但期望是dict。也就是说，他们想要{'foo_id': {'S': id}}而不是我首先尝试过的简单{'foo_id': id}。

Answer 4

这是dynamodb 2.15.0版的Java解决方案。假设foo_id是字符串类型且键小于100。您可以将列表分为所需大小的批处理

private void queryTable(List<String> keys){

    List<Map<String, AttributeValue>> keysBatch = keys.stream()
            .map(key -> singletonMap("foo_id", AttributeValue.builder().s(key).build()))
            .collect(toList());
    KeysAndAttributes keysAndAttributes = KeysAndAttributes.builder()
            .keys(keysBatch)
            .build();
    Map<String, KeysAndAttributes> requestItems = new HashMap<>();
    requestItems.put("tableName", keysAndAttributes);
    BatchGetItemRequest batchGet = BatchGetItemRequest.builder()
            .requestItems(requestItems)
            .build();
    Map<String, List<Map<String, AttributeValue>>> responses = dbClient.batchGetItem(batchGet).responses();
    responses.entrySet().stream().forEach(entry -> {
        System.out.println("Table : " + entry.getKey());
        entry.getValue().forEach(v -> {
            System.out.println("value: "+v);
        });
    });
}

如何在给定主分区键值列表的情况下一次批量调用多个项目

4 个答案: