什么是在Spark中计算--executor-memory --num-executors --executor-cores的最佳方法
我有一个集群，其中包含1个主节点和5个从属节点（节点），每个集群32个核心和64 GB内存。
在纱线的电火花提交中是否有任何模式可以计算以下参数
-executor内存--num-executors --executor-cores
1 个答案:
答案 0 :(得分：-1)
如果我们有以下硬件，则计算火花
- 6个节点
- 16个代码
- 64 GB的Ram
计算
：- 每个执行者5个核心
- -要获得最大的HDFS吞吐量
- 集群总共有6 * 15 = 90个核心
- 取出Hadoop / Yarn守护程序内核后
- 90核心/ 5核心/执行器（19/5 = 18-1）
- = 18个执行者
- 每个节点有3个执行者
- 63 GB / 3 = 21 GB，21 *（1 -0,07）
- 〜19 GB
- 1个执行者为AM => 17个执行者
答案
- 总共17位执行者
- 19 GB内存/ executor
- 5个核心/ executor
- 执行者数（--num -executors）
- 每个执行者的价格（--executorr-cores）
- 每个执行者的内存（--executor-memory）
执行者内存控制堆大小：
- 用于堆外内存的节点的某些开销（由spark.yarn.executor.memory.overhead控制）默认为最大（384 MB，.07 * Spark.executer.memory）
火花内存管理
相关问题
- 显示执行程序和执行程序内存的数量
- YARN：Spark中执行者数量和执行者核心之间有什么区别？
- 如何调整spark执行器编号，内核和执行程序内存？
- 有人可以让我知道如何决定 - 执行内存和--num-of-executors在spark提交作业。 -number-of-cores
- Spark执行器，驱动程序，执行程序核心，执行程序内存的值
- YARN会计算num-executors吗？
- 什么是在Spark中计算--executor-memory --num-executors --executor-cores的最佳方法
- 从spark.read中的option（“ numPartitions”，x）提交的spark-submit中的num-executors，executor-cores，executor-memory有什么区别？
- 获取spark-submit参数的值：num-executors，executor-cores和executor-memory
- 如何计算Spark Job中的内核数，执行程序数，内存量
最新问题
- 我写了这段代码，但我无法理解我的错误
- 我无法从一个代码实例的列表中删除 None 值，但我可以在另一个实例中。为什么它适用于一个细分市场而不适用于另一个细分市场？
- 是否有可能使 loadstring 不可能等于打印？卢阿
- java中的random.expovariate()
- Appscript 通过会议在 Google 日历中发送电子邮件和创建活动
- 为什么我的 Onclick 箭头功能在 React 中不起作用？
- 在此代码中是否有使用“this”的替代方法？
- 在 SQL Server 和 PostgreSQL 上查询，我如何从第一个表获得第二个表的可视化
- 每千个数字得到
- 更新了城市边界 KML 文件的来源？