使用AWS S3作为数据源的TensorFlow Transform Python

时间:2019-01-11 17:17:05

标签: apache-beam-io tensorflow-transform

我正在尝试使用Python,Apache Flink作为Beam Runner运行TensorFlow Transform。我注意到Beam没有将AWS S3作为io连接器,并且想知道对此有何解决方法。

这里是受支持的io连接器的list,但路线图中甚至没有Python + S3。

我可以想到两种解决方法:

  1. 将S3存储桶作为本地驱动器安装到EC2实例
  2. 使用their guide编写我自己的Python S3连接器。

我想知道是否还有其他创意(简便)方法。

谢谢!

0 个答案:

没有答案