我们在kubernetes上使用spark(spark2.4.2 https://spark.apache.org/docs/latest/index.html),因此在提交作业时动态启动了工作程序。除了在日志中没有指向日志(驱动程序或执行程序)的链接(端口4040的UI或端口18080的历史UI)之外,其他所有东西都工作正常。
我阅读了类似以下的主题,它涉及指向本地容器的日志链接,但是我的问题是我根本没有链接。
Exposing Spark Worker (stdout stderr) logs in Kubernetes
任何人都知道是否需要为具有日志链接设置任何配置吗?非常感谢。