如何在Spark中配置spark.io.compression.codec = lzf?
通常,我使用spark-submit运行我们的驱动程序类,如下所示
./ spark-submit --master spark:// testserver:7077 --class com.spark.test.SparkTest --conf“ spark.io.compression.codec = lzf ” /tmp/test/target/test.jar。
所以我可以在命令中设置spark.io.compression.codec = lzf。但是,如果我不想使用spark-submit来运行我们的驱动程序类。我想在spark-job-server中运行。如何在spark-job-server中配置?谢谢 我试着在env变量中设置它。但它不起作用。我也在下面尝试过。还是不行。
sparkConf = new SparkConf().setMaster("spark://testserver:7077").setAppName("Javasparksqltest").
set("spark.executor.memory", "8g").set("spark.io.compression.codec", "lzf");
答案 0 :(得分:0)
您可以将该选项传递到spark-submit
,或 spark-shell
,方法是将其添加到与之关联的conf/spark-defaults.conf
中。详细信息位于configuration section of the doc。
对于spark-jobserver
,您可以配置给定的上下文,尤其是当它作为从作业隐式创建的上下文发送时。有几种方法可以这样做(其中的要点是设置在spark.context-settings下分层),但" Context配置" Readme.md
的详细信息如何操作:
https://github.com/spark-jobserver/spark-jobserver/blob/master/README.md
答案 1 :(得分:0)
使用完整的班级名称" org.apache.spark.io.LZFCompressionCodec"而不是" lzf"