无法在ArangoDB中批量上传日志数据?

时间:2015-07-01 06:06:48

标签: arangodb bigdata nosql

我需要在ArangoDB中批量上传日志数据。它不是JSON和CSV格式,它是gz格式的日志数据。

  

203.109.94.55 - - [19 / Jun / 2015:16:02:45 +0000]“GET /origin-cdn.firstcry.com/brainbees/images/products/thumb/506739a.jpg HTTP / 1.1”200 21514“ - ”“Mozilla / 5.0(Linux; Android 4.4.4; XT1022 Build / KXC21.5-40)AppleWebKit / 537.36(KHTML,与Gecko一样)Chrome / 34.0.1847.114 Mobile Safari / 537.36”“ - ”   183.87.73.202 - - [19 / Jun / 2015:16:02:45 +0000]“GET /origin-cdn.firstcry.com/brainbees/images/products/bigthumb/555258a.jpg HTTP / 1.1”200 34903“ - “”Dalvik / 2.1.0(Linux; U; Android 5.0.2; AO5510 Build / LRX22G)“” - “   183.87.73.202 - - [19 / Jun / 2015:16:02:45 +0000]“GET /origin-cdn.firstcry.com/brainbees/images/products/bigthumb/555401a.jpg HTTP / 1.1”200 32334“ - “”Dalvik / 2.1.0(Linux; U; Android 5.0.2; AO5510 Build / LRX22G)“” - “

即使我们尝试通过Arangosh上传单个文件,也不会上传并生成格式无效的错误。 我每天上传和处理2 GB的数据,如何通过ArangoDB完成? 因为我查看了ArangoDB的文档,发现只有JSON的批量上传。如何上传和处理相同的任何帮助将不胜感激?

1 个答案:

答案 0 :(得分:3)

ArangoDB仅支持批量上传JSON,CSV或TSV。因此,您需要转换日志文件。我很好的起点是谷歌。例如,有一个名为" log2json":

的项目
https://github.com/kadnan/logs2json

通过一些小的调整,你应该能够生成JSON行(上面的项目会创建一个大的JSON,这不是你想要的)。