从hadoop添加到livy打开文件到批处理上下文

时间:2018-08-05 13:21:29

标签: python apache-spark pyspark livy

我正在执行python脚本,以向/ batches发布请求。 在我的请求中,我添加了“ pyFiles”列表,并且一切正常。但是我还通过“ files”字段添加了json文件。而且我在日志中看到它是从hadoop复制过来的。 但是当我试图 open(my_file.json)表示此处没有这样的文件。 我试图os.walk在此目录中找到一些json文件,但什么也没找到。 可能有人遇到了这个问题 os.walk通过根目录后,我在上下文的tem目录中找到了它们。但是仍然需要找出如何动态获取位置信息

0 个答案:

没有答案