我们想安装Spark-Alchemy以便在铸造厂的Pyspark中使用它(我们想使用他们的超级日志功能)。虽然我知道如何安装pip程序包,但是我不确定安装这种程序包需要什么。
感谢与pyspark一起使用hyperloglog的任何帮助或替代解决方案,谢谢!
答案 0 :(得分:1)
Foundry中的PySpark转换存储库已连接到conda。您可以使用coda_recipe/meta.yml
将包拉入转换。如果您想要的软件包在您的频道中不可用,我建议您与管理员联系,询问是否可以添加它。添加自定义jar来扩展spark是您的平台管理员需要检查的事情,因为它可能会带来安全风险。
我做了一个$ conda search spark-alchemy
,却找不到任何相关内容,并且通读了这些说明https://github.com/swoop-inc/spark-alchemy/wiki/Spark-HyperLogLog-Functions#python-interoperability,这使我猜测没有可用的conda软件包。
答案 1 :(得分:0)
对于这个特定库的使用我无法发表评论,但总的来说,Foundry支持Conda频道,如果您有Conda存储库并配置Foundry以连接到该频道,则可以添加此库或其他库并在您的库中引用代码。