Question

我想将旧的App Engine日志添加到我当前的BigQuery日志数据库中，但它们的格式很奇怪。

所以我最近开始直接将应用引擎日志添加（流）到BigQuery。但是我使用这种命令下载了90天的旧日志（从我开始添加到BigQuery之前）：

<<path-to>>/appcfg.sh --num_days=0 --severity=0 --include_all request_logs <<war-location>> <<output-file>>

可以在这里看到：https://cloud.google.com/appengine/docs/java/tools/uploadinganapp#Command_Line_Arguments

所以我下载了所有这些日志并获得了大约3 GB的文本文件。它采用我无法识别的格式（不是CSV或JSON）。它看起来像这样：

2601:9:6900:b700:c1ca:f9d7:7d6f:9677 - - [27/Apr/2015:13:00:39 -0700] "OPTIONS /mediaServer/<<fileURL>>" 200 109 - "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.101 Safari/537.36" "<<domain>>" ms=12 cpu_ms=18 cpm_usd=0.000012 instance=00c61b117cd30a702faf40832448daeb1e98 app_engine_release=1.9.19
    1:1430164839.664000 [s~<<domain>>/1.383906932052420675].<stdout>: 27 Apr 2015 08:00:39, 664 INFO  <<servlet>>.doOptions(): entered
    : 
    : 
    1:1430164839.664000 [s~<<domain>>/1.383906932052420675].<stdout>: 27 Apr 2015 08:00:39, 664 INFO  <<servlet>>.doOptions(): exiting
    : 
    :

所以我相信这是一个日志（我有几万个）。第一个条目是标准App Engine日志，后面是我的应用程序中的一些数字（在这种情况下为2，但可能为零或更多）。

我没有在网上找到任何关于将这些日志添加到BigQuery的内容。我想我只需将其解析为CSV然后上传即可。但如果有办法将其直接导入BigQuery，那就更好了。

有什么想法吗？感谢。

将旧的应用引擎日志导入BigQuery

0 个答案: