我正在尝试为{@ 3}}上运行在YARN上的Spark Streaming作业设置自动缩放。后来，我决定不使用Elastic Spark Streaming，因为我们需要大幅度地扩展/缩小比其他地方提到的参数以及其他一些参数来调整缩放比例，但是我确实使用了类似的代码来执行缩放。
因此，我使用在工作开始时从SparkContext检索的Spark's internal Auto-scaling实例来定期执行缩放操作。我看到的是，即使YARN拥有足够的资源（就内核和内存而言），它也不会立即响应按比例放大的请求。它会在约一个小时的工作运行后（在requestTotalExecutors进行约5-6次调用之后）做出响应，并且行为在何时开始时甚至不确定。通过调用killExecutors(Seq)进行的按比例缩小请求仍然可以按预期方式工作-因此，只有按比例放大的操作由于某种原因无法正常工作。
我不确定在YARN或Spark上是否缺少某些配置，这会导致这种奇怪的行为，请寻求帮助。