将数据从API上载到GCP dataprep

时间:2020-09-08 19:39:08

标签: google-cloud-platform google-cloud-dataprep

是否可以将Restful API中的数据直接导入数据准备中?

我认为可能会有一些解决方法... 1:将结果保存到GCS存储桶中的JSON文件中,然后从那里导入。 2:将结果导入到Big Query表中,然后从那里导入到数据准备中。

只需要调用一个API并获取一个结果集,就会变得更加平滑,而不必采取额外的步骤。我只是找不到任何可以解释如何执行此操作的地方。

TIA!

1 个答案:

答案 0 :(得分:1)

长话短说:没有直接将数据流传输到Data Prep的真正方法。甚至新的Dataprep Premium Edition都希望您以某种数据库形式存储数据-尽管这确实将您的选择扩展到了Google Sheets,Salesforce,Oracle,Microsoft SQLServer,MySQL和PostgreSQL。

就我个人而言,我已经习惯于直接编写BigQuery和/或Firestore-to-BigQuery来解决此类问题。作为应用程序的另一种日志记录方式,它还具有很好的副作用。