验证RPC的Spark SASL加密

Question

我将spark.authenticate.enableSaslEncryption设置为true，并希望验证RPC是否已加密。

1. 我想检查该功能是否已启用。我会在日志中找到这样的消息吗？
2. 如果我想确保数据包已加密，我是否会执行tcpdump并检查数据包以确认信息不是以纯文本形式？

我对Spark很陌生，所以如果这些是简单的问题我会道歉。

Answer 1

作为第一步，如果您将--verbose标志添加到spark-submit命令，那么Spark将打印出配置设置，您将看到：

(spark.authenticate.enableSaslEncryption, true)

接下来，您可以启用DEBUG日志记录（通过log4j.properties文件 - 请参阅docs）并在日志中搜索提及Sasl的条目。

启用SASL加密后，您将看到来自类的日志记录，包括：

• SaslRpcClient
• TSaslTransport
• SparkSaslServer
• SaslRpcHandler

例如：

SparkSaslServer: SASL Authorization complete, authorized set to true

SaslRpcHandler: SASL authentication successful for channel TransportClient{...}