在Spark 2.2.0中设置DEFAULT_MAX_TO_STRING_FIELDS

Question

我想在Spark 2.2.0中更改变量DEFAULT_MAX_TO_STRING_FIELDS的值，因为我想对具有25个以上功能的数据集应用机器学习算法。 Apache Spark库以Maven依赖项的形式集成在Spring Boot应用程序中，因此我想从代码中更改此属性。我找到了一种显示功能数量的方法：

System.out.println(Utils.DEFAULT_MAX_TO_STRING_FIELDS());

但不幸的是，我不知道如何动态更改此值。

谢谢！！！

Answer 1

尝试以下

SparkSession.conf.set("spark.debug.maxToStringFields", maxlength)