添加python包以在aws EMR中使用spark

Question

我刚开始使用AWS EMR作为测试的一部分 - 我已经创建了一个启动文件，用于在我的EMR实例上使用pip安装特定的python包。我知道这是非常基本的。 bash脚本包含

#!/bin/bash
set -e
pip install typing --user

但是，当我提交python脚本作为步骤时，我收到以下错误

  

回溯（最近一次调用最后一次）：文件“py-calculate.py”，行   6，在       从输入中导入Iterable ImportError：没有名为type of LogType的模块：stdout

从它看起来，没有安装打字包。

Answer 1

正如我猜测的那样，打字包还没有安装好。我以前的方法是将bash脚本修改为

#! /bin/bash
sudo pip install -U typing

出于某种原因，这样做效果更好。