我正在使用Sparkmagic内核(spark-scala)来研究Jupyter Notebook,该内核依靠Apache Livy来运行spark作业。
我目前正在尝试了解创建具有用户提供的依赖关系(即jars)的会话的选项。
我知道在Jupyter中我可以做类似的事情:
%%configure -f
{"kind": "spark",
"executorMemory": "2G",
"executorCores": 4,
"jars": ["/path/to/library1.jar",
"/path/to/library2"]}
但是后来我注意到LIVY_HOME/conf/livy.conf
中的其他选项,尤其是livy.resc.jars
和livy.repl.jars
,但是我相信描述不是很具体,或者我无法找到它们之间的实际区别。
我猜他们是否分开是为了什么,但是究竟是什么?