Question

我从AWS EC2运行火花。正如spark文档所述

＆＃34;每个驱动程序都有一个Web UI，通常在端口4040上，显示有关运行任务，执行程序和存储使用情况的信息。只需在Web浏览器中访问http：//：4040即可访问此UI＆＃34;

我的问题是：这是什么＆＃34; driver-node＆＃34;？我认为它是驱动程序节点xx.xx.xxx.xx的公共IP。但是当我使用http://xx.xx.xxx.xx:4040

时，我一直收到页面未找到错误

请帮忙。

Answer 1

请记住创建一个安全组并为其分配并打开入站端口，例如0.0.0.0/0，端口4040

然后您可以使用其公共IP访问它，例如：

http://54.xx.xx.xx:4040

0.0.0.0/0对所有人开放，您可以将其更改为您自己的IP或其他IP范围以限制流量。

Answer 2

我和你有完全相同的问题。最终，应该用您的IP地址替换。

但谷歌“你的IP地址是什么”后不是IP地址。您应该在命令行中执行ipconfig并在URL中使用该IP地址。

如果您没有运行有效的sparkContext（sc），UI将返回错误

Answer 3

或者

到远程/ ec2端口的ssh隧道，例如

ssh -i "c:\path\to\keypair.pem" -N -L \
  4040:ec2-##-###-###-##.us-east-2.compute.amazonaws.com:4040 \
  ec2-user@ec2-##-###-###-##.us-east-2.compute.amazonaws.com

然后将您的浏览器连接到http://localhost:4040/

如何在AWS上运行spark时访问监控Web UI

3 个答案: