我有一份工作,该工作使用Spark结构化流查询从Azure EventHub读取,然后写入Delta Lake,
目前在我的工作中,我正在使用以下代码进行会话。
sparksession.builder().appname({myName}).getorcreate()
每当我开始工作时,我都会使用新的Guid作为我的名字。这样,在每次新运行中,我的应用程序名称都是不同的。
问题:
这是推荐的吗?还是我应该为每个作业运行的应用程序名称使用恒定/相同的值?
在我的工作中,我正在为WriteStream使用检查点,检查点是否取决于应用程序名称?