是否有可能提取Google Analytics数据并将其发布到Elastic Search？

Question

我一直在研究导入Google Analytics原始数据的方法，而无需使用高级帐户。到目前为止，这是我想要做的最近的链接     How to extract data from Google Analytics and build a data warehouse (webhouse) from it?     我想将这些数据加载到弹性搜索中并使用kibana进行显示。对此最好的ETL方法是什么？有没有人试图使用ELK堆栈显示GA数据？

Answer 1

你应该两次这样做

• 首先，获取信息，一个非常有用的网站https://developers.google.com/webmaster-tools/v3/how-tos/search_analytics，但您首先要有一个google wembaster工具帐户，并在https://console.developers.google.com/apis上创建oauth凭据
• 然后，一旦你有了你的数据，找到一种方法在elasticsearch中导入它们，我仍然在寻找最佳方法，可能会将结果表转换为csv，然后使用https://www.elastic.co/guide/en/logstash/current/plugins-filters-csv.html

Answer 2

看看这个：

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-http_poller.html

您可以使用它来轮询端点，在本例中为GA，并将响应数据加载到Elasticsearch中。您可能还希望使用Split和/或Mutate插件过滤响应。

Answer 3

我已经完成了相同的设置。

1. 从Google Analytics（分析）中提取具有7个维度和6个指标的数据，其中2个维度是主键（时间戳和ID）。这是使用R完成的。
2. 使用linux awk和sed命令对数据进行了一些转换。
3. 使用行列格式将数据加载到Apache Hive中，创建起来就像总共9个表。
4. 使用具有2个主键的Hive Join查询联接Hive中的所有9个表。
5. 使用elasticsearch-hadoop连接器将最终结果表加载到elasticsearch。必须进行一些数据转换以匹配Hive和Elasticsearch数据类型。
6. 使用Kibana在Elasticsearch中可视化数据。

现在，我正计划避免执行所有手动步骤，并以某种方式使上述所有步骤自动化。