我是否需要在Spark集群的每个节点上或仅在主节点上安装Koalas？

Question

我在Spark + AI峰会上发现了Koalas，将大熊猫带到Spark。

据我所知，如果我需要//Email.js const sgMail = require('@sendgrid/mail'); sgMail.setApiKey(process.env.SENDGRID_API_KEY); const msg = { to: 'aaaaa@gmail.com', from: 'bbbb@gmail.com', subject: 'This is a test mail', text: 'and easy to do anywhere, even with Node.js', html: '<strong>and easy to do anywhere, even with Node.js</strong>', }; sgMail.send(msg) 将第三方功能map添加到Spark DataFrame，则必须将程序包安装在Spark集群的每个节点上。

树袋熊也一样吗？还是我只需要在主节点上运行pip install koalas并让Koalas和Spark负责其余的工作？

除pip install koalas外，我在考拉的Docs中没有发现任何细节。

Answer 1

是的，您需要在集群的所有节点上安装考拉。通常，所有第3方库都需要安装在群集的所有节点上。