从GCS读取输入数据

Question

从GCS加载数据的建议方法是什么？ The sample code shows copying the data from GCS to the /tmp/ directory。如果这是建议的方法，可以将多少数据复制到/tmp/？

Answer 1

虽然您有该选项，但您不需要将数据复制到本地磁盘。您应该能够直接从GCS引用培训和评估数据，方法是使用他们的GCS URI引用您的文件/对象 - 例如。 GS：//桶/路径/到/文件。您可以使用这些路径，您通常在接受文件路径的TensorFlow API中使用本地文件系统路径。 TensorFlow支持访问数据（和写入）GCS的能力。

您还应该能够使用前缀来引用一组匹配的文件，而不是单独引用每个文件。

后续注意事项 - 如果您需要对数据进行适当的ACL以便培训，您可以查看https://cloud.google.com/ml/docs/how-tos/using-external-buckets。

希望有所帮助。