自定义环境变量在pyspark

时间:2017-11-16 06:12:51

标签: python dataframe operating-system pyspark environment-variables

我在pyspark中使用main.pysrc文件夹中的一些模块编写了一个项目,例如logicutils

现在在我的代码中,我用整个项目中需要的一些自定义变量初始化os.environ。说C_1C_2

这就是我在main.py

中设置变量的方法
os.environ.setdefault("C_1", "local-storage")

现在我确保这些变量正在由main.py进行初始化,然后在我的logic模块中,有一些file.py调用来自utils.py utils的函数1}}模块

但是当我试图在那个utils函数中访问这些变量时,我没有找到它。

相反,它会抛出错误,没有这样的变量可用。

我的问题是我在开始时正在使用os.environ,但我仍然无法在我的代码中访问这些可用的代码。 Why?

在utils.py中的函数

 print os.environ

除了C_1

之外,其他所有不必要的变量都存在

0 个答案:

没有答案