将文件上传到google cloud datalab VM实例

时间:2017-09-11 21:44:40

标签: google-cloud-datalab

我有一个开放的google cloud datalab笔记本,我正在查看文件夹内容。有一个上传按钮,我可以用它来上传文件。它适用于大约500kb以下的任何文件,但是当我尝试上传任何更大的文件时,它只是永远挂起。我不是试图通过网络界面上传大量文件,只是10mb或更少的数据,但它仍然无法通过。

datalab是否具有可以使用网络上传器的最大文件大小?

2 个答案:

答案 0 :(得分:7)

由于Google Cloud Datalab Notebook在预配置的Google Compute Engine(GCE)实例中作为docker容器运行,因此我们需要将文件复制到容器本身中。

1 /将大型文件从本地复制到GCS存储桶:

public class CustomerResult
{
    public string CompanyStatus { get; set; }
    public OverallResult Result { get; set; } = new OverallResult();
}

2 /通过SSH从Cloud Shell进入Datalab GCE实例:

[Local machine prompt] gsutil cp <my_file> gs://<my_bucket>

3 /找到Cloud Datalab容器的ID:

[Cloud Shell prompt] gcloud compute ssh <instance name>

4 /进入刚刚找到ID的容器:

[GCE Instance prompt] docker ps -a
CONTAINER ID        IMAGE                                       COMMAND
0aa745853b54        gcr.io/cloud-datalab/datalab:latest         "/datalab/run.sh"

5 /在容器的新提示符下,将文件复制到笔记本位置:

[GCE instance prompt] docker exec -it 0aa745853b54 /bin/sh

6 /确认文件已复制:

[Container prompt] gsutil cp gs://<my_bucket>/<my_file> /content/datalab

7 /按住Ctrl + p + q

退出容器

my_file也应该在Notebook的Web GUI中可见。

答案 1 :(得分:1)

有关Datalab的Github回购中的an outstanding issue讨论了这个问题,它是Datalab从Jupyter 4继承的东西,它是基于它的,并且有&#39;很遗憾,目前没有办法解决它。