标签: apache-spark bigdata spark-streaming
根据Spark Streaming Guide,
DStream与单个接收器关联。为了获得读并行性,需要创建多个接收器,即多个DStream。接收器在执行器内运行。它占据一个核心。确保在预订接收器插槽后有足够的内核进行处理,即spark.cores.max应考虑接收器插槽。接收者以循环方式分配给执行者。
我有些疑惑。
spark.cores.max应该考虑接收器插槽??
任何帮助将不胜感激。我无法在这一部分找到深入的解释。