标签: apache-spark jms spark-streaming partitioning
我有一个用于火花的JMS Custom接收器,以及由第三方发布的数据。目前,由于我在一段时间后遇到GC over head错误,因此我只能看到只有一个使用者在运行,这导致使用了一个火花执行器。
如何使多个使用者使用,以便多个执行者可以处理数据?
我在读取Dsreams之后尝试重新分区,但是生产者的写入速度更快,因此,在某个时间点之后,在单个使用者上收集了更多记录,这会引发GC开销内存错误。