使用Python将Twitter数据直接发送到Google Cloud数据存储

Question

一个人如何将数据从Twitter直接发送到Google Cloud数据存储。想跳过首先将其下载到我的本地计算机，然后再将其上传到云的步骤。它会运行一次。不是在寻找完整的代码，而是在寻找别人可能从中学到的任何指针或教程。使用python与google-cloud和存储进行交互。

任何帮助将不胜感激。

Answer 1

Here's a blog post描述了以下架构：

• 在Compute Engine上运行Python脚本
• 将数据移至BigQuery进行存储

Here's another one描述了稍微复杂一些的架构，包括分析推文的能力：

• 使用Google Cloud Dataflow模板
• 从Google App Engine（GAE）应用启动数据流管道
• 为了支持MapReduce作业