我正在计划一个项目，在该项目中，我将使用（限速）Reddit API，并将数据存储在GCS和BigQuery中。最初，将选择Cloud Functions，但我必须创建一个数据存储区实现来管理“伪”请求队列和cron作业的GAE。
在Dataflow中做任何事情都没有意义，因为它不建议进行外部请求（即点击Reddit API）并永久运行单个作业。
我可以使用Cloud Composer从Google表格中读取字段，然后基于Google表格创建请求队列，然后让任务队列执行这些请求，将其存储在GCS中并加载到BigQuery中吗？