有没有直接的方法将文件上传到Google Cloud上的SSD永久磁盘?

时间:2018-05-04 08:30:04

标签: kubernetes google-cloud-platform google-compute-engine google-kubernetes-engine dgraph

我的Kubernetes集群用于运​​行我的图形数据库(Dgraph)。但是,我必须将作为不同文件夹和文件的初始数据集(1TB)加载到Dgraph中。

我已经在本地处理了数据,现在可以将文件上传到我的6个不同的SSD永久磁盘 - 我有没有办法直接对磁盘这样做,或者我是否需要使用计算引擎实例并通过它通过安装磁盘然后卸载它们?

1 个答案:

答案 0 :(得分:2)

我有一个建议可能比你在帖子中提到的方法更快更简单。

据推测,您已将持久性磁盘声明安装到pod中,这些声明将使用此数据。

例如,假设您有一个持久磁盘声明挂载到pod上的/ mnt / data。

可以使用'kubectl cp'命令将文件复制到pod。我意识到你要上传的数据集非常大,并且会填充pod标准文件系统。但是,如果您将持久磁盘声明安装到pod中,该声明将包含该pod使用的数据,则可能这个已安装的存储空间足以容纳该数据。因此,您可以尝试使用“kubectl cp”将数据复制到pod上的安装点,以使其落在已安装的卷上。

您可以运行此命令试试这个:

{{1}}

除此之外,您可以考虑使用gsutil将数据上传到云存储,然后在节点上安装保险丝here,这样您就可以将云存储安装到需要访问权限的广告连播中对数据,虽然我意识到这可能不适合每个人的用例。