我正在启动pyspark，我可以通过命令行提供driver-memory参数来指定驱动程序的最大内存使用量。在Spark的在线文档中，他们通常只使用1g或2g之类的值作为示例，但我不确定使用3300m或4500m作为值是否合法。
我认为这个参数与jvm的Xmx参数有关，该参数必须是1024m的倍数，这更让我感到困惑。
spark的驱动程序内存参数是否正确处理了几千兆字节以外的其他内容？
答案 0 :(得分：4)
是的，它有效。查看文档和我以前的经验，您也可以在mbs中设置驱动程序内存。例如：512米
请参阅：http://spark.apache.org/docs/latest/configuration.html
指定字节大小的属性应使用单位大小进行配置。接受以下格式：
1b (bytes)
1k or 1kb (kibibytes = 1024 bytes)
1m or 1mb (mebibytes = 1024 kibibytes)
1g or 1gb (gibibytes = 1024 mebibytes)
1t or 1tb (tebibytes = 1024 gibibytes)
1p or 1pb (pebibytes = 1024 tebibytes)