Question

我正在建立一个数据流管道，其中一项操作是获取/添加GCS文件的元数据[用户提供的元数据]。

在一个独立的Java应用程序中，我使用了以下方法来获取来自StorageObject类的元数据，但未在Apache Beam库中找到类似的方法/ api。任何指针都将真正有用。

//Below code is from StorageObject.java
com.google.api.services.storage.model.StorageObject
//.....
public java.util.Map<String, java.lang.String> getMetadata() {
     return metadata;
}

Answer 1

我使用以下代码从GCS获取元数据，它在DataFlow管道中运行良好。

SQLSTATE[HY000]: General error: 1364 Field 'status' doesn't have a default value (SQL: insert into `hierarchies` (`up`, `down`, `updated_at`, `created_at`) values (1, 2, 2019-07-02 05:18:02, 2019-07-02 05:18:02))

如何使用Apache Beam库[org.apache.beam.sdk.io。*]获取/添加GCS文件用户定义的元数据。

1 个答案: