Question

我正在尝试将kuberenets用作spark的集群管理器。我还想将容器日志发送到splunk。现在，我确实在同一名称空间中部署了监控堆栈（流利位，普罗米修斯等），并且它的工作方式是如果您的pod拥有某个environment_variable，它将开始阅读日志并将其推送到 splunk 。我找不到的是如何设置环境变量并填充它

bin/spark-submit \
   --deploy-mode cluster \
   --class org.apache.spark.examples.SparkPi \
   --master k8s://https://my-kube-cluster.com \
   --conf spark.executor.instances=2 \
   --conf spark.app.name=spark-pi \
   ....
   ....
   ....
   --conf spark.kubernetes.driverEnv.UID="set it to spark driver pod id" \
   local:///opt/spark/examples/jars/spark-examples_2.11-2.4.4.jar

Answer 1

要配置其他Spark Driver Pod环境变量，您可以传递其他--conf spark.kubernetes.driverEnv.EnvironmentVariableName=EnvironmentVariableValue（有关更多详细信息，请参考docs）。

要配置其他Spark Executor Pod环境变量，您可以传递其他--conf spark.executorEnv.EnvironmentVariableName=EnvironmentVariableValue（有关更多详细信息，请参考docs）。

希望有帮助。

Kubernetes提交火花

1 个答案: