将静态文件导入/导出datalab的最佳方法是什么?

时间:2015-10-28 11:44:29

标签: google-cloud-datalab

将文件(例如存储为数千个文本文件的数据)从我的本地计算机发送到可以轻松将其加载到Jupyter笔记本中的地方的最佳方法是什么?我已在我的本地计算机上安装了gcloud工具并按照说明操作,但ssh会暂停计时。如果我去开发控制台,说我需要以这种方式从“Google托管”更改为“自我管理”实例到SSH。 datalab是否需要由Google管理?

2 个答案:

答案 0 :(得分:1)

我建议将这些内容放入云端存储,然后使用gsutil命令将整个文件集复制到存储桶中。

完成后,请查看存储笔记本,了解如何处理存储中的文件 - 枚举,读/写,删除等。

希望能让你开始。

答案 1 :(得分:0)

您也可以将数据流式传输到BigQuery表中,甚至可以使用Table.insert_data在笔记本中执行此操作,但如果存在大量数据,这可能并不理想。这取决于您想要对数据做什么。如果纯粹用于BQ,那么把它放在BQ表中是有意义的。如果您需要从其他Google产品访问它或轻松上传/下载它,那么GCS更合适。