从数据实验室实例内部创建实例

时间:2018-09-04 22:03:02

标签: google-cloud-platform jupyter-notebook virtual-machine google-compute-engine google-cloud-datalab

嗨,有人知道如何从jupyter笔记本和/或云中的datalab实例创建和运行实例吗?

我正在尝试运行大量计算,并且希望将任务划分为云中的多个VM。无论如何,我可以从我的datalab笔记本中创建并运行实例吗?

例如: 我想在不同的VM中运行10次迭代的每个循环。为此,我需要在我的代码所在的datalab笔记本中创建并运行VM。 感谢您的帮助!

编辑: 这是我正在使用的启动脚本的示例。

gcloud计算实例创建instance11 \

-元数据启动脚本='#! / bin / bash

sudo apt更新

sudo apt-get install python3.6

wget https://bootstrap.pypa.io/get-pip.py

sudo python get-pip.py

pip --version

pip install pandas --user

pip install scipy --user

pip install scikit-learn --user

pip install sklearn —用户

pip install matplotlib --user

gsutil cp gs:// bucket / datafile / home目录

gsutil cp gs:// bucket / pythonfile / homedirectory

'--machine-type n1-standard-32

1 个答案:

答案 0 :(得分:1)

关于您的问题的评论很好,我同意。安装了适当的依赖项后,您可以调用gcloud命令以从Jupyter笔记本启动VM。例如,要在us-east1中启动一个n1-standard-1 Debian 9实例:

gcloud compute instances create <name> --image-family debian-9 
    --machine-type=n1-standard-1 --zone=us-east1-b
  

我想知道如何将命令传递给VM,而无需手动SSH进入VM。我尝试使用启动脚本,但无法执行。

执行此操作的云原生机制确实是使用启动脚本来确保您的计算机构建具有可复制性,而不是通过SSH登录并强制在shell上运行命令。

如果您在运行启动脚本时遇到问题,建议您创建一个实例并尝试以root用户的身份手动运行它。否则,请发布您正在使用的脚本的示例,以便我们提供进一步的帮助。


最后,像this commenter noted一样,您可能正在尝试通过滥用操作所用的框架来解决错误的问题。如果这被证明具有挑战性,则应考虑退后一步,使用本机Google工具和您自己的代码来定义更强大的机制来实现您的要求。