从检查点重新启动后,Spark流创建空创建空批

时间:2017-02-26 19:09:47

标签: pyspark spark-streaming amazon-kinesis

Spark Streaming UI screenshot

我使用Spark 2.1(pyspark),Amazon Kinesis流。 当我从检查点重新启动应用程序时,它会在我的应用程序关闭时创建空批处理。 此外,我在每个空批处理过程中看到下一个错误:

com.amazonaws.services.kinesis.model.ProvisionedThroughputExceededException: 
Rate exceeded for shard shardId-000000000028 in stream 
StreamEvents under account 567616515857. 
(Service: AmazonKinesis; Status Code: 400; 
Error Code: ProvisionedThroughputExceededException; 
Request ID: d56404a8-ecc2-2093-8449-221a1db9543c)

使用不同的分片ID。

从检查点重新启动后是否可以禁用创建空批次?

0 个答案:

没有答案