关于在结构化流作业中创建Spark会话的应用名称的建议

时间:2019-10-30 07:11:36

标签: apache-spark spark-streaming

我有一份工作,该工作使用Spark结构化流查询从Azure EventHub读取,然后写入Delta Lake,

目前在我的工作中,我正在使用以下代码进行会话。

sparksession.builder().appname({myName}).getorcreate()

每当我开始工作时,我都会使用新的Guid作为我的名字。这样,在每次新运行中,我的应用程序名称都是不同的。

问题:

  • 这是推荐的吗?还是我应该为每个作业运行的应用程序名称使用恒定/相同的值?

  • 在我的工作中,我正在为WriteStream使用检查点,检查点是否取决于应用程序名称?

0 个答案:

没有答案