Pysaprk：IO错误：[Errno 2]没有这样的文件或目录

Question

我的PySpark代码直接在hadoop集群中运行。但是当我打开此文件时，它给了我这个错误：IOError：[Errno 2]没有这样的文件或目录：

with open("/tmp/CIP_UTILITIES/newjsonfile.json", "w") as fp:
    json.dump("json_output", fp)

Answer 1

在这种情况下，当您使用文件时，最好使用pathlib模块。

您可以运行Debug来查看该路径的实际指向吗？

打招呼