如何在Spark中配置spark.io.compression.codec = lzf？
通常，我使用spark-submit运行我们的驱动程序类，如下所示
./ spark-submit --master spark：// testserver：7077 --class com.spark.test.SparkTest --conf“ spark.io.compression.codec = lzf ” /tmp/test/target/test.jar。
所以我可以在命令中设置spark.io.compression.codec = lzf。但是，如果我不想使用spark-submit来运行我们的驱动程序类。我想在spark-job-server中运行。如何在spark-job-server中配置？谢谢 我试着在env变量中设置它。但它不起作用。我也在下面尝试过。还是不行。
sparkConf = new SparkConf().setMaster("spark://testserver:7077").setAppName("Javasparksqltest").
set("spark.executor.memory", "8g").set("spark.io.compression.codec", "lzf");
答案 0 :(得分：0)
您可以将该选项传递到spark-submit，或 spark-shell，方法是将其添加到与之关联的conf/spark-defaults.conf中。详细信息位于configuration section of the doc。
对于spark-jobserver，您可以配置给定的上下文，尤其是当它作为从作业隐式创建的上下文发送时。有几种方法可以这样做（其中的要点是设置在spark.context-settings下分层），但＆＃34; Context配置＆＃34; Readme.md的详细信息如何操作：
https://github.com/spark-jobserver/spark-jobserver/blob/master/README.md
答案 1 :(得分：0)
使用完整的班级名称＆＃34; org.apache.spark.io.LZFCompressionCodec"而不是＆＃34; lzf＆＃34;