有时putRecord不会返回AWS kinesis的任何响应

时间:2015-07-13 14:39:10

标签: python amazon-kinesis

我正在使用AWS boto python库。

我从Jmeter到我的网络应用程序达到10000请求/秒,将数据写入kinesis流。 我使用了16个Shards for Stream。当我停止Jmeter时,我看到一些未写入流的记录。我也有我的日志,但没有发现任何错误。 这是我的示例代码

try:
       p_key = '{0}{1}'.format('partition_key',(1, 10000))

        # Connect to AWS Kinesis region
        kinesis_obj = kinesis.connect_to_region(region_name)

        # Put data on AWS Kinesis stream
        app.logger.debug(count++) 
        response = kinesis_obj.put_record(stream_name,record,p_key)
        app.logger.debug(count++)
        app.logger.debug(response)

except kinesis.exceptions.ResourceNotFoundException, re_ex:
    write_log(record, re_ex)

except kinesis.exceptions.ResourceInUseException, inuse_ex:        
    write_log(record, inuse_ex)

except Exception, ex:
    write_log(record, ex)

当我打印计数时,这里有25000个请求。

response = kinesis_obj.put_record(stream_name,record,p_key)

和, 我在这里收到了24900个请求。

100条缺失的记录。

response没有任何回应,没有例外。

0 个答案:

没有答案