远程运行python程序以获得大型机器学习程序

Question

我刚刚进入机器学习，我有一些我需要运行的大型程序。它们需要大约10个小时，但目前我只有一台MacBook Pro可以运行它们。我经常旅行，所以不能让我的课程在白天运行。我对服务器有点不熟悉，有人可以指向一些资源的方向，或者提供一些信息，我可以远程运行python程序以及我需要的基础设施吗？

Answer 1

试试这个：

• 订阅AWS
• 创建一个虚拟服务器（使用EC2服务），可能是Linux实例，例如亚马逊默认
• 设法登录该虚拟服务器
• 安装byobu（控制台，可以在后台运行）
• 在那里安装你的python程序
• 使用byobu控制台启动代码并关闭byobu而不关闭会话。

稍后

• 登录虚拟服务器
• start byobu
• 查看结果。

如果您确实需要更长时间运行服务，可以稍后安装supervisord并将程序配置为在其下运行。它将允许您启动/停止/重新启动并查看程序创建的日志。

AWS的一个优点是，您可以在不需要时停止服务器，并且只需按使用时间付费。其他虚拟服务器提供商可能提供类似的服务（我有时会使用Digital Ocean，但还有更多）。

Answer 2

这是基于云的虚拟机的完美用例。就个人而言，我已经使用AWS多次启动虚拟实例。服务器运行后，您需要做的就是将文件传送到VM，然后以与Mac相同的方式从终端运行它们。

我建议你选择一个Ubuntu Server AMI作为起始位置，因为来自终端的命令比另一个发行版更熟悉。作为一个附带的好处，python已经安装在Ubuntu上了，所以你不必再做一件事了。

VM的运行成本相当低（只要你不发疯）。有很多复杂的方法来远程运行脚本，但我自己是简单解决方案的粉丝，除非有更复杂的解决方案。简单地将文件FTP到服务器，SSH用于远程访问。

设置vm后，步骤可能如下所示：

sftp username@publicdns.amazon.com
cd /appropriateFolder/
put *.py
bye
ssh username@publicdns.amazon.com
cd /appropriateFolder/
python myScript.py > output.log &

最后一行将在后台运行您的python脚本，并将您打印的任何内容转储到文件中。查看亚马逊的定价清单，您可以轻松找到匹配或优于您的MBP规格的VM。使用云实例还有一个额外的好处，就是能够关闭它并在运行脚本时停止为它付费。

祝你好运！