从python脚本将日志提取到bigquery

Question

我想在不使用appengine mapreduce的情况下将日志从appengine应用程序摄取到bigquery？

Answer 1

我们在这里开源了一个将appengine日志迁移到bigquery的Java实现：http://blog.streak.com/2012/07/export-your-google-app-engine-logs-to.html

Answer 2

请参阅bigquery docs here。您可以发布包含要添加到表中的数据的多部分http请求。如果您正在进行追加，则无需提供架构。

Answer 3

还有一个名为“log2bq”的Python运行时实现，它演示了如何将App Engine日志提取到BigQuery中：http://code.google.com/p/log2bq/

Answer 4

Google最近发布了一项名为＆＃34; Google Cloud Logging：Logs Export＆＃34; https://cloud.google.com/logging/docs/install/logs_export

他们总结为：

  

将您的Google Compute Engine日志和Google App Engine日志导出到Google云端存储分区，Google BigQuery数据集，Google Cloud Pub / Sub主题或这三者的任意组合。

我还没有尝试过这项新服务提供的所有功能，但是......

我们最近开始使用＆＃34;流应用引擎日志到BigQuery＆＃34;我们的Python GAE项目中的功能。这会将我们的应用程序日志直接发送到BigQuery，因为它们可以在BigQuery数据集中提供接近实时的日志记录。