Apache spark - 如果你错误拼写属性会发生什么

Question

我正在修改Apache spark中的默认属性。我在AWS上使用EMR旋转集群。但是，我正在设置属性，并且不确定如何检查我的新配置是否正在替换默认配置。

举个例子，我想修改Spark中的默认序列化。因此，我在创建群集时提供以下配置。

“分类”：“spark-defaults”，     “属性”：{
        “spark.serializer”：“org.apache.spark.serializer：KryoSerializer”

当我在端口：4040或通过YARN方法通过Spark UK检查火花属性时，我看到那里的属性被设置。但是，目前还不清楚Spark是否正在使用此属性。有办法检查吗？

我问这个，因为我曾经拼错过“spark.serializer”，但仍然看到了属性集。我想看到一个错误，告诉我一个未知的属性正在尝试设置。

Answer 1

如果您已经测试过，如果拼错了属性名称，则会被接受但不会被使用。由于可能的属性列表是打开的，用户可以设置自己的属性，并且可能无法使用未使用的属性。