使用bigquery分析iis日志

Question

使用bigquery加载和分析IIS日志（在Extended Log File Format中）的任何首选方式/示例？我们还需要对其进行自动分区。我们可以定期获取日志文件

我们希望分析特定功能的使用情况，该功能可以通过特定网址格式和访问者通过网站访问的最流行流量的转化渠道进行识别，以确定他们进入和离开的位置。可以使用cookie中的唯一ID（存储在日志中）来标识访问者，并且可以将页面与引用者链接（也存储在日志中）。

提前致谢

Answer 1

将CSV格式文件加载到BigQuery中很容易。支持Both CSV and JSON format source data。

我不是使用IIS的专家，但将平面日志数据加载到BigQuery的最快方法是从CSV开始。 IIS日志格式非常简单，但您可能需要保存步骤并将其导出为CSV。快速搜索显示许多人使用LogParser（注意：我自己从未使用过它）将IIS日志转换为CSV。也许试试这个或类似的工具。

对于BigQuery数据集表的“自动分区” - BigQuery不会自动执行此操作，但为导出的每批IIS日志创建新表非常容易。

根据您分析的数据量，您应该每天或每小时创建一个新的BigQuery表。

使用BigQuery command line tool时，在命令行上编写脚本非常简单。创建一个新的BigQuery加载作业，使用基于每个时间片日志数据的新表名。

换句话说，您的BigQuery表应该如下所示：

mydataset.logs_2012_10_29
mydataset.logs_2012_10_30
mydataset.logs_2012_10_31
etc...

有关详细信息，请务必仔细阅读importing data的BigQuery文档。