--archives选项不会在pyspark 1.6环境中解压缩文件

Question

我试图在yarn-client模式下使用--archives选项将一堆sql文件传递到pyspark模块。

.zip文件已复制到worker的暂存目录中，但该文件并未解压缩。我也尝试过tar.gz文件，但没有运气。

这是我的spark-submit命令。

static vars

我的要求是复制zip文件，并在pyspark驱动程序中读取各个sql，然后使用hivecontext执行它们。