如何在Spark中配置spark.io.compression.codec = lzf

时间:2015-01-15 09:07:49

标签: apache-spark

如何在Spark中配置spark.io.compression.codec = lzf?

通常,我使用spark-submit运行我们的驱动程序类,如下所示

  

./ spark-submit --master spark:// testserver:7077 --class   com.spark.test.SparkTest --conf“ spark.io.compression.codec = lzf ”   /tmp/test/target/test.jar。

所以我可以在命令中设置spark.io.compression.codec = lzf。但是,如果我不想使用spark-submit来运行我们的驱动程序类。我想在spark-job-server中运行。如何在spark-job-server中配置?谢谢 我试着在env变量中设置它。但它不起作用。我也在下面尝试过。还是不行。

sparkConf = new SparkConf().setMaster("spark://testserver:7077").setAppName("Javasparksqltest").
set("spark.executor.memory", "8g").set("spark.io.compression.codec", "lzf");

2 个答案:

答案 0 :(得分:0)

您可以将该选项传递到spark-submit spark-shell,方法是将其添加到与之关联的conf/spark-defaults.conf中。详细信息位于configuration section of the doc

对于spark-jobserver,您可以配置给定的上下文,尤其是当它作为从作业隐式创建的上下文发送时。有几种方法可以这样做(其中的要点是设置在spark.context-settings下分层),但" Context配置" Readme.md的详细信息如何操作:

https://github.com/spark-jobserver/spark-jobserver/blob/master/README.md

答案 1 :(得分:0)

使用完整的班级名称" org.apache.spark.io.LZFCompressionCodec"而不是" lzf"