Question

我在AWSAthena上有一个非常简单的表，其中包含三列：名称，城市和价格。我可以运行以下简单查询：

select * from mytestdb.test where city='austin'

，运行时间少于1秒。我使用boto3创建了一个lambda函数来运行相同的查询，但是3分钟后查询无法完成

import time
import boto3

# athena constant
DATABASE = 'mytestdb'
TABLE = 'test'
# S3 constant
output='s3://mybucket'


COLUMN = 'city'

def lambda_handler(event, context):
    # get keyword
    keyword = 'Austin'
    # created query
    query = "SELECT * FROM %s.%s where %s = '%s';" % (DATABASE, TABLE, COLUMN, keyword)
    # athena client
    client = boto3.client('athena')


    # Execution
    response = client.start_query_execution(
        QueryString=query,
        QueryExecutionContext={
            'Database': DATABASE
        },
        ResultConfiguration={
            'OutputLocation': output,
        }
    )

    # get query execution id
    query_execution_id = response['QueryExecutionId']
    print(query_execution_id)

    # get execution status


    # get query execution

    query_status = client.get_query_execution(QueryExecutionId=query_execution_id)
    print('Amir2')
    query_execution_status = query_status['QueryExecution']['Status']['State']


    time.sleep(200)        

    if query_execution_status == 'SUCCEEDED':
        result = client.get_query_results(QueryExecutionId=query_execution_id)
    else:
        print('killed')
        client.stop_query_execution(QueryExecutionId=query_execution_id)

    return

该表共有10行，因此根本不大。是基于城市寻找理想价值的正确方法，还是有更好的方法呢？

更新：这是我的lambda许可（它具有对athena和s3的完全访问权限：

{   "Version": "2012-10-17",   "Statement": [
    {
      "Sid": "Stmt1547414166585",
      "Action": [
        "athena:*"
      ],
      "Effect": "Allow",
      "Resource": "*"
    },
    {
      "Sid": "Stmt1547414166586",
      "Action": [
        "s3:*"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::your-bucket-name/*"
    }    ] }

Answer 1

这里有点晚了，但请确保您的 lambda 角色具有正确的策略。

我通过提供对 Athena 和 Glue 的完全访问权限解决了这个问题，而您可能会遗漏它。将这些政策添加到您的 lambda 角色中。

使用AWS lambda在Athena上运行查询

1 个答案: