将变量存储在文件中以供以后重用

Question

我可以使用sqlContext.read.parquet访问存储在变量中的文件路径 var1 = "s3n://path1/path2/*/*snappy.parquet"，代码下方

def funname(date):

   pDF=sqlContext.read.parquet(var1)

但是当我把这个var1 =“s3n：//path1/path2/*/*snappy.parquet”放在文件'file1.dat'中时，我在使用pDF = sqlContext.read时无法访问此变量.parquet（VAR1）

错误：

错误：全局名称“var1”未定义为“无”

Answer 1

不幸的是，您无法存储＆＃34;文本文件中的变量，让python知道它的存在。但是您可以存储路径，然后将其加载到程序中。

在文件中，存储镶木地板的路径，其他内容。

file1.dat

s3n://path1/path2/*/*snappy.parquet

现在，使用python的文件IO来读取文件并将其存储在var1中。

your_file.py

with open('file1.dat') as f:
    var1 = f.read().strip()

pDF = sqlContext.read.parquet(var1)