NameError：名称'redis'未定义 - PySpark - Redis

Question

我在pyspark中使用addPyFile方法加载redis.zip文件。 我可以使用

加载文件

sc.addPyFile("/home/path/to/redis.zip")

但是在使用./pyspark运行代码时，它显示错误：

  

NameError：未定义名称'redis'

zip（redis.zip）包含.py个文件（client.py，connection.py，exceptions.py，lock.py，utils.py和其他）。

Python版本为 - 3.5，spark为2.7

Answer 1

如果您将py文件打包成zip并使用sc.addPyFile添加它，则应使用import client，import connector等导入模块。