如何在hdfs中使用python读取.pkl文件

Question

我在IBM云中使用Python 3.5.2。我需要在集群环境中运行pyspark代码。对于这项工作，我需要使用python在hdfs中上传pickle文件。我看到了comments here

我想上传terrs.pkl。文件位置在附加屏幕截图

中给出

我根据我分享的链接中提供的建议使用以下命令

pickle.load( open( '/user/clsadmin/terrs.pkl', "rb" ) )

但它引发了错误

No such file or directory: '/user/clsadmin/terrs.pkl'

请参阅随附的屏幕截图。 你能建议我如何使用python加载这个.pkl文件？

Answer 1

open_file = open("/user/clsadmin/terrs.pkl", "rb")
data = pickle.load(open_file)
open_file.close()