直接从FTP将公共数据下载到Google Cloud存储桶

时间:2019-06-17 09:40:32

标签: google-cloud-platform ftp

我需要处理一些大型的公共可用大型基因组文件,并将其存储在Google Cloud中。直接下载它们很有意义,而我能找到的最相似的东西是设置数据传输。数据传输需要包含链接,大小和MD5的TSV文件的URL。

  1. 还有我不熟悉的更好的方法吗?
  2. 您如何甚至为未提供远程对象的MD5找到它?这有可能吗?
  3. 我不确定为什么必须在URL上放置TSV,而不上传,但是我没有成功提供。当我将创建的文件上传到GDrive或TinyUpload并提供获得的链接时,传输失败并显示以下错误:

详细信息:URL列表中的第一行必须是TsvHttpData-1.0,但它是:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">

有人可以帮忙吗?谢谢!

1 个答案:

答案 0 :(得分:0)

您可以使用GCloud SDK中的gsutil命令在Google云存储之间进行复制。

gsutil cp {源} {目的地} 在这种情况下,目的地将类似于:gs:// {BUCKET_NAME} / {FOLDER_NAME}