使用Elasticsearch + Kinesis加入日志

时间:2017-07-19 23:47:04

标签: elasticsearch amazon-ec2 amazon-kinesis

我有多个具有主键eventID的客户日志的唯一来源,并且所有来源都包含相同的eventID,但在每个eventID上生成不同的数据点。例如,eventID Abc123在每个源中都包含以下数据:

  • User.METADATA
    • eventID:Abc123
    • userIP:00.000.00.00
    • userStatus:非会员
    • userType:Production
  • Device.METADATA
    • eventID:Abc123
    • deviceID:112112Adk
    • deviceLocale:US
    • deviceType:001uus
  • Event.DATA
    • eventID:Abc123
    • button:true
    • 购买:true
    • dollarAmt:199.99

其他说明:1)这些日志在不同的服务器上生成; 2)并非所有3个源中都存在每个eventID。某些来源可能缺少某些eventID。

如何使用Kinesis解析这三个来源并将它们合并为一个可以摄入ES的JSON主对象?

0 个答案:

没有答案