猎户座上下文数据如何在Cosmos中持续存在？

Question

我已经听说过连接器在Cosmos中保留Orion上下文数据，以便创建此类数据的历史视图。

这种连接器的名称是什么？我在哪里可以找到有关它的文档？ 什么是持久数据的格式？ Cosmos中存储的数据在哪里？

Answer 1

您要求的连接器是Cygnus，这是一款基于Flume的软件，能够接收来自Orion的通知并将其保存在Cosmos中。

您可以在README。

中阅读完整的说明和安装，配置和使用指南

持久化数据作为文本文件存储在配置的Cosmos用户空间中，即HDFS中的目录，例如/user/myuser/mydataset。对于由Cygnus接收的每个（实体，属性）对，一行保存在文本文件中。在Cygnus 0.1中，此行以CSV样式（'|'分隔符）编写：

ts|iso8601date|entityId|entityType|attributeName|attributeType|value

在一个名为（每个（实体，属性）对的文件）的文本文件中：

/user/myuser/mydataset/entityId-entityType-attributeName-atributeType.txt

然而，从版本0.2（含）开始，这些行以Json格式编写：

{"ts"="xxx", "iso8601date"="xxx", "entityId"="xxx", "entityType"="xxx", "attributeName"="xxx", "attributeType"="xxx", "value"="xxx"|{...}|[...]}

在一个名为（每个实体的文件）的文本文件中：

/user/myuser/mydataset/cygnus-myuser-mydataset-entityId-entityType.txt