我使用Spark 2.1(pyspark),Amazon Kinesis流。 当我从检查点重新启动应用程序时,它会在我的应用程序关闭时创建空批处理。 此外,我在每个空批处理过程中看到下一个错误:
com.amazonaws.services.kinesis.model.ProvisionedThroughputExceededException:
Rate exceeded for shard shardId-000000000028 in stream
StreamEvents under account 567616515857.
(Service: AmazonKinesis; Status Code: 400;
Error Code: ProvisionedThroughputExceededException;
Request ID: d56404a8-ecc2-2093-8449-221a1db9543c)
使用不同的分片ID。
从检查点重新启动后是否可以禁用创建空批次?