在AWS上访问Luigi可视化工具

时间:2019-03-13 05:05:14

标签: python amazon-web-services luigi

我一直在使用Luigi可视化工具来流水化我的python代码。 现在,我开始使用aws实例,并希望从我自己的机器上访问可视化工具。 关于我该怎么做的任何想法?

2 个答案:

答案 0 :(得分:1)

我们今天在GCP上遇到了同样的问题,并通过以下步骤解决了问题:

  1. 为服务使用的端口上的传入TCP连接设置防火墙规则(默认为8082);
  2. 使用 site.conf 配置在实例上安装apache2服务器,该配置可解析 ip-of-instance:8082 上的传入请求。

就是这样。希望这会有所帮助。

答案 1 :(得分:0)

很好的问题,我很惊讶我在StackOverflow上找不到重复项。您大体上需要做两件事:

  • 确保luigi网络服务器托管的内容正确。您可能可以通过site.conf进行此操作,也可以通过luigi's default-scheduler-host property进行此操作。这对应于@PierluigiPuce第二点。
  • 正确公开并保护您的EC2实例。这是一个VPC练习(see docs),是一个学习的完整领域,但是总之,您需要配置VPC,以便将有效请求路由到正确端口上的实例,并阻止无效请求。这对应于@PierluigiPuce的第一点。

您的主要考虑因素是,是否可以公开面对这一问题。可能不会。然后,您可以通过IP地址范围,VPN甚至通过跳转主机的SSH端口转发来保护实例。

使其完全打开是最简单,最糟糕的解决方案。将实例放在公共子网中,并基于IP地址限制访问,可能是第二个最简单的解决方案,并且可能是您的合理折衷方案。