Question

我正在尝试使用boto3运行一组查询，并且不想将数据保存到s3。相反，我只想获得结果并希望使用这些结果。我正在尝试执行以下操作

import boto3

client = boto3.client('athena')
response = client.start_query_execution(
        QueryString='''SELECT * FROM mytable limit 10''',
        QueryExecutionContext={
            'Database': 'my_db'
            }.        
        ResultConfiguration={
            'OutputLocation': 's3://outputpath',
            }
        )

print(response)

但是在这里我不想给ResultConfiguration，因为我不想在任何地方写结果。但是，如果我删除了ResultConfiguration参数，则会出现以下错误

botocore.exceptions.ParamValidationError: Parameter validation failed:
Missing required parameter in input: "ResultConfiguration"

所以给s3输出写位置似乎是必须的。那么，如何避免这种情况并仅以响应方式获得结果呢？

Answer 1

StartQueryExecution操作确实需要S3输出位置。 ResultConfiguration参数是必需的。

查询雅典娜的另一种方法是using JDBC or ODBC drivers。如果您不想将结果存储在S3中，则应该使用此方法。

Answer 2

每当运行“ start_query_execution”命令时，您都必须指定一个S3临时存储区位置。但是，您可以通过使用查询ID运行'get_query_results'方法来获得结果集（字典）。

响应（dict）将如下所示：

{
'UpdateCount': 123,
'ResultSet': {
    'Rows': [
        {
            'Data': [
                {
                    'VarCharValue': 'string'
                },
            ]
        },
    ],
    'ResultSetMetadata': {
        'ColumnInfo': [
            {
                'CatalogName': 'string',
                'SchemaName': 'string',
                'TableName': 'string',
                'Name': 'string',
                'Label': 'string',
                'Type': 'string',
                'Precision': 123,
                'Scale': 123,
                'Nullable': 'NOT_NULL'|'NULLABLE'|'UNKNOWN',
                'CaseSensitive': True|False
            },
        ]
    }
},
'NextToken': 'string'
}

有关更多信息，请参见boto3客户端文档：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/athena.html#Athena.Client.get_query_results

然后您可以删除指定的S3临时存储段中的所有文件。

Answer 3

您仍然需要提供s3作为Athena的临时位置来保存数据，尽管您想使用python处理数据。但是您可以使用分页API将数据作为元组进行分页。请参考示例here。希望有帮助

Boto3雅典娜查询而无需将数据保存到S3

3 个答案: