保留期运动

Question

我使用Spark-streaming + Kinesis开发了应用程序。 我在2015-10-30开始我的应用程序，它的工作原理。我看见 今天（2015-11-02）我重新启动了应用程序，并开始处理2015-11-02。 为什么？保留期？ 在文档中

“您可以使用IncreaseRetentionPeriod操作将保留期限延长168小时”

我尝试使用docs中描述的命令增加

aws kinesis increase-stream-retention-period --stream-name XXXX --retention-period-hours 160

但是

用法：aws [options] [参数] aws：错误：参数操作：无效选择，有效选择是： add-tags-to-stream |创建流 delete-stream |描述流 获取记录|得到-碎片迭代器 list-streams |列表标签换流 merge-shards |把记录 put-records |除去标签，从流 split-shard |等待 帮助

我应该怎样做才能增加保留期???

WBR，Slava

Answer 1

您需要更新正在使用的aws cli。您可能正在使用不了解较新命令选项的旧版本。

@ az3的答案也值得研究，了解为什么要选择目前的处理方式。 （他解释了这种行为，我倾向于同意:)）

Answer 2

• 我认为这与保留期无关。如果您使用的是Kinesis客户端库（KCL），则可能会将最后一个工作位置保留为DynamoDB。因此，如果您停止并启动您的应用程序，它将继续在上一个已知位置工作。

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-ddb.html

• 如果要读取分片中的所有先前数据，则应将DynamoDB中的检查点更新为“TRIM_HORIZON”。

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-additional-considerations.html

• 当应用程序看到TRIM_HORIZON时，它将读取Kinesis Stream中的第一个数据（约55分钟前约23小时）。您可以在此处找到有关保留的更多信息;

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-extended-retention.html