我一直在使用Anaconda Python,但也做了很多包升级(比如PANDAS)。我已经编写了一些我想要转换成MapReduce工作的工具,并且我已经研究过如何针对包依赖关系进行python EMR引导。
我想到了一个可能的解决方法:只需获取并安装Anaconda发行版。但后来我记得我必须做所有必要的升级。
我可能做到这一点的最后努力就是这个问题:有没有办法去"重新捆绑"升级的anaconda(或其环境),以便它可以存储在S3上并用作EMR引导操作?
感谢您的帮助!
补充:我想这需要一个许可才能包装像这样的Anaconda发行版并在各种机器上使用它,无论是在我的办公室网络还是在AWS上。这是这个问题的开源版本(我刚学会了Anaconda发行版的主要包管理器实际上是操作系统):
假设我有一个运行了各种模块和扩展的虚拟(或conda)环境。如果有的话,封装/捆绑此虚拟环境的正确方法是什么,以便我可以根据需要有效地部署它?我遇到过' pip bundle'还有康卡克隆'和' conda创造'同样。此外,出现了康达渠道的概念。我不清楚我是否可以将它们放在一起以便在EMR上进行有效部署,如果可以的话,如何。
答案 0 :(得分:0)
license允许你这样做,如果这就是你所要求的。
您还可以查看http://continuum.io/anaconda-cluster和http://continuumio.github.io/conda-cluster/。