我使用python 3.X
中的以下代码以.pkl格式保存了一个字典import pickle as cpick
OutputDirectory="My data file path"
with open("".join([OutputDirectory, 'data.pkl']), mode='wb') as fp:
cpick.dump(data_dict, fp, protocol=cpick.HIGHEST_PROTOCOL)
我想在pyspark中读取此文件。你能建议我怎么做吗？目前我正在使用spark 2.0＆amp; python 2.7.13