转储SparkContext的SparkConf对象

Question

我使用ipython笔记本与spark群集进行交互。笔记本设置为void swapAdjacent(List<int>::iterator & itrA, List<int>::iterator & itrB) { } 并将其存储在变量SparkContext中。

是否可以转储sc的值，以便我可以看到笔记本如何连接到火花群？

我试过了：

SparkConf

这让我：

from pprint import pprint
pprint (vars(sc._conf))

所以我试过了：

{'_jconf': JavaObject id=o0}

然后返回：

from pprint import pprint
pprint (vars(sc._conf._jconf))

Answer 1

您只需拨打-rw-r--r-- 1 egon egon 25178732 Nov 11 11:44 pkgcache.bin 方法：

即可

getAll