Question

有没有一种方法可以从Google Cloud Storage提供模型，而无需实际下载模型副本？喜欢直接流式传输数据吗？

我正在尝试加载Google Cloud Storage上托管的快速文本模型。每次我运行该程序时，它都需要在存储桶中获取并下载该模型的副本。

language_model_filename = 'lid.176.bin' // filename in GCS
language_model_local = 'lid.176.bin' // local file name when downloaded
bucket = storage_client.get_bucket(CLOUD_STORAGE_BUCKET)
blob = bucket.blob(language_model_filename)
blob.download_to_filename(language_model_local)
language_model = FastText.load_model(language_model_local)

Answer 1

您可以为此使用Streaming Tranfers。如文档中所述，您可以使用第三方boto client library plugin for Cloud Storage。

流式下载示例如下：

import sys

downloaded_file = 'saved_data_file'
MY_BUCKET = 'my_app_bucket'
object_name = 'data_file'
src_uri = boto.storage_uri(MY_BUCKET + '/' + object_name, 'gs')
src_uri.get_key().get_file(sys.stdout)

从Google Cloud Storage加载模型而无需下载

1 个答案: