Spark 1.5.0 spark.app.id警告

Question

我已更新我的CDH群集以使用spark 1.5.0。当我提交spark应用程序时，系统会显示有关spark.app.id

的警告

Using default name DAGScheduler for source because spark.app.id is not set.

我搜索了spark.app.id但没有关于它的文档。我读了这个link，我认为它用于RestAPI调用。

我在spark 1.4中没有看到此警告。有人可以向我解释并说明如何设置吗？

Answer 1

它不一定用于REST API，而是用于监视目的e。 g当你想检查每个例子的纱线日志时：

yarn logs <spark.app.id>

确实，这个具体问题尚未记录在案。我认为已经添加它来标准化Hadoop生态系统中的应用程序部署。

我建议您设置＆＃39; spark.app.id＆＃39;在你的应用程序中

conf.set("spark.app.id", <app-id>) // considering that you already have a SparkConf defined of course

尽管如此，这仍然是一个不会影响应用程序本身的警告。