如何尾纱原木？

Question

我正在使用以下命令提交Spark Job。我想使用类似于Linux框中tail命令操作的应用程序ID尾纱日志。

export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties" --master yarn --deploy-mode cluster Test-app.jar > /tmp/TestApp.log &

Answer 1

不容易。

“ YARN日志”实际上不在YARN中，它们实际上在Spark的执行程序节点上。如果启用了YARN日志聚合，则日志位于HDFS中，并且可从Spark History服务器获取。

行业部署模式是配置Spark log4j属性以使用日志转发器（例如Filebeat，Splunk，Fluentd）将其写入文件，然后这些进程将数据收集到诸如Solr，Elasticsearch，Graylog，Splunk，使用这些工具，您可以在CLI外部大约尾部/搜索/分析日志消息。

Answer 2

如果通过“纱线日志” 来表示执行者的日志，则可以轻松查看该日志，也可以在可以访问提交了纱线工作的执行器机器的情况下将其尾随。您只需要：

yarn logs -applicationId <you app ID>

在执行程序机器上

。如果配置正确，您可以在yarn UI中观看主日志。