Bash脚本在EMR中安装库

Question

我想知道如何在 EMR 中安装库的过程，我正在使用 boto3

通过python脚本启动EMR。

但是我要运行的步骤在EMR中失败了，因为它依赖于第三方库，并且没有安装在EMR中，如何将我的第三方库安装在python中。

Answer 1

您可以使用引导脚本。这是一个示例：

#!/bin/bash

sudo easy_install-3.6 pip
sudo /usr/local/bin/pip3 install scipy scikit-learn pandas
exit 0

您需要在集群配置中添加相应的部分：

 "BootstrapActions": [
        {
            "Name": "install-libs",
            "ScriptBootstrapAction": {
                "Path": "s3://path/to/script/install-libs.sh"
            }
        }
    ]