无法通过AWS EMR Notebook上的pip安装软件包

Question

我正在使用连接到AWS EMR集群的Jupyter Notebook。连接到群集所有节点的子网和安全组都可以连接到Internet。 但是，当我尝试从连接到EMR群集的Notebook pip install <package>时，出现以下错误：

WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'NewConnectionError('<pip._vendor.urllib3.connection.HTTPSConnection object at 0x7f6b4c6bd710>: Failed to establish a new connection: [Errno 101] Network is unreachable')': ....。

我也曾尝试向互联网r = requests.get('https://www.google.com')发出GET请求，但也没有成功。我无法弄清楚是什么原因阻止了我从AWS EMR上的Jupyter Notebook连接到Internet。

Answer 1

由于您可以通过群集连接到Internet，因此笔记本本身的安全组而不是群集可能是问题所在。

您是否正在为here中所述的EMR笔记本使用默认安全组，或者正在分配自己的安全组？如果是，请确保您有正确的出站规则，尝试添加outbound rules并允许流量