我正在尝试使用.egg文件运行pyspark作业。该文件有一些代码引用.egg文件中的.json文件。
我使用os.path.dirname( file )获取.py文件的绝对路径(在.egg文件中),然后将路径附加到它。
路径如下:
/private/var/folders/8b/85wbwwxn2n31zfl1dgcpcfxs1d0qjg/T/spark-347c3633-7d95-467c-a222-83965afc7f34/userFiles-d0c02f9a-3c54-4f50-bb14-550a1bdcc26b/normalize-3.0-py3.5.egg/i18naddress/data/us.json
我的目录结构是:
normalize-3.0-py3.5.egg
--i18naddress
----_init_.py (the class I call)
----data
------us.json
相对路径看起来正确,但是火花无法读取这些文件并引发IO错误。有人能告诉我我做错了吗?