Cloud AI平台培训无法从存储桶中读取

时间:2020-06-18 22:27:44

标签: google-cloud-platform google-cloud-ml gcp-ai-platform-training

我正在尝试使用Cloud AI Platform进行培训(gcloud AI平台作业提交培训)。 我创建了我的存储桶,并确保其中有培训文件(gsutil ls gs://sat3_0_bucket/data/train_input.csv)。

但是,我的工作因日志混乱而失败:

File "/root/.local/lib/python3.7/site-packages/ktrain/text/data.py", line 175, in texts_from_csv
    with open(train_filepath, 'rb') as f:
FileNotFoundError: [Errno 2] No such file or directory: 'gs://sat3_0_bucket/data/train_input.csv'

我想念什么吗?

1 个答案:

答案 0 :(得分:0)

由于 ktrain 尝试使用encoding自动检测字符编码,因此可能发生了错误,这可能对Google Cloud Storage来说是有问题的。一种解决方案是显式提供texts_from_csvdf = pd.read_csv('gs://bucket/your_path.csv') 作为参数,以便跳过此步骤(默认为None,这意味着自动检测)。

或者,您可以使用these methods之一将自己的数据作为 pandas DataFrame读取。例如, pandas 显然支持GCS,因此您只需执行以下操作:ktrain.text.texts_from_df

然后,使用 ktrain ,您可以使用ktrain.text.texts_from_array(或{{1}})来加载和预处理数据。