pyspark:IOError:[Errno 20]不是目录(egg文件导入)

时间:2017-02-02 23:12:04

标签: python apache-spark pyspark egg

我正在尝试使用.egg文件运行pyspark作业。该文件有一些代码引用.egg文件中的.json文件。

我使用os.path.dirname( file )获取.py文件的绝对路径(在.egg文件中),然后将路径附加到它。

路径如下:

/private/var/folders/8b/85wbwwxn2n31zfl1dgcpcfxs1d0qjg/T/spark-347c3633-7d95-467c-a222-83965afc7f34/userFiles-d0c02f9a-3c54-4f50-bb14-550a1bdcc26b/normalize-3.0-py3.5.egg/i18naddress/data/us.json

我的目录结构是:

normalize-3.0-py3.5.egg
--i18naddress
----_init_.py (the class I call)
----data
------us.json

相对路径看起来正确,但是火花无法读取这些文件并引发IO错误。有人能告诉我我做错了吗?

0 个答案:

没有答案