Question

我试图在

的帮助下阅读推送到Kinesis流的消息

get_records（）和get_shard_iterator（）API。

我的制作人在处理结束时不断推送记录，消费者每30分钟仍然以cron的形式运行。因此，我尝试存储在我的数据库中读取的当前消息的序列号，并使用AFTER_SEQUENCE_NUMBER分片迭代器以及上次读取的序列号。但是，在推送新消息后，第二次（第一次成功读取流中的所有消息）不会起作用。

我还尝试使用AT_TIMESTAMP以及生成器作为消息的一部分进行流式传输的消息时间戳，并存储该消息以供进一步使用。同样，首先运行处理所有消息，然后从第二次运行中我得到空记录。

我真的不确定自己哪里出错了。如果有人可以帮助我，我将不胜感激。

使用时间戳提供下面的代码，但序列号方法也是如此。

def listen_to_kinesis_stream():
kinesis_client = boto3.client('kinesis', region_name=SETTINGS['region_name'])
stream_response = kinesis_client.describe_stream(StreamName=SETTINGS['kinesis_stream'])

for shard_info in stream_response['StreamDescription']['Shards']:
    kinesis_stream_status = mongo_coll.find_one({'_id': "DOC_ID"})
    last_read_ts = kinesis_stream_status.get('state', {}).get(
        shard_info['ShardId'], datetime.datetime.strftime(datetime.date(1970, 01, 01), "%Y-%m-%dT%H:%M:%S.%f"))

    shard_iterator = kinesis_client.get_shard_iterator(
        StreamName=SETTINGS['kinesis_stream'],
        ShardId=shard_info['ShardId'],
        ShardIteratorType='AT_TIMESTAMP',
        Timestamp=last_read_ts)

    get_response = kinesis_client.get_records(ShardIterator=shard_iterator['ShardIterator'], Limit=1)
    if len(get_response['Records']) == 0:
        continue

    message = json.loads(get_response['Records'][0]['Data'])
    process_resp = process_message(message)
    if process_resp['success'] is False:
        print process_resp
    generic_config_coll.update({'_id': "DOC_ID"}, {'$set': {'state.{0}'.format(shard_info['ShardId']): message['ts']}})
    print "Processed {0}".format(message)

    while 'NextShardIterator' in get_response:
        get_response = kinesis_client.get_records(ShardIterator=get_response['NextShardIterator'], Limit=1)
        if len(get_response['Records']) == 0:
            break

        message = json.loads(get_response['Records'][0]['Data'])
        process_resp = process_message(message)
        if process_resp['success'] is False:
            print process_resp
        mongo_coll.update({'_id': "DOC_ID"}, {'$set': {'state.{0}'.format(shard_info['ShardId']): message['ts']}})
        print "Processed {0}".format(message)

logger.debug("Processed all messages from Kinesis stream")
print "Processed all messages from Kinesis stream"

Answer 1

根据我与AWS技术支持人员的讨论，可能会有一些空记录的消息，因此在len（get_response [＆＃39;记录＆＃39;]）== 0时破解不是一个好主意

建议的更好方法是 - 我们可以有一个计数器，指示在读取尽可能多的消息后在运行和退出循环中读取的最大消息数。

使用以前的序列号或时间戳{K44}运行时，从Kinesis读取的内容为空记录

1 个答案: