Question

我正在通过Fi-Ware阅读Bigdata安装教程。

https://github.com/telefonicaid/fiware-connectors/blob/develop/flume/README.md

我已经完成了“安装Cygnus及其依赖项”的步骤。我意识到有一个新的Cygnus版本（教程中使用的是0.3而不是0.2.1）。我想知道是否有必要完成与依赖安装相关的另一个步骤。

我在教程中找到了下一段

OrionCKANSink依赖项

如果您没有将它们包含在Cygnus包中，那么您需要在APACHE_FLUME_HOME / plugins.d / cygnus / libext下安装这些软件包：

json-simple-1.1.jar
OrionHDFSSink dependencies

如果您没有将它们包含在Cygnus包中，那么您需要在APACHE_FLUME_HOME / plugins.d / cygnus / libext下安装这些软件包：

hadoop-core-0.20.0.jar (or higher)
hive-exec-0.12.0.jar
hive-jdbc-0.12.0.jar
hive-metastore-0.12.0.jar
hive-service-0.12.0.jar
hive-common-0.12.0.jar
hive-shims-0.12.0.jar

这些包不是必须安装的，因为它们已经包含在Flume包中（它们仅出于提供信息的目的而列出）：

httpclient-4.2.1.jar
httpcore-4.2.2.jar

另外，正如已经说过的，记得用这个覆盖APACHE_FLUME_HOME / lib / libthrift-0.7.0.jar包：

libthrift-0.9.1.jar

最后，如果您打算使用OrionMySQLSink，请在APACHE_FLUME_HOME / plugins.d / cygnus / libext中包含最新的MySQL连接器：

mysql-connector-java-5.1.26-bin.jar

是否有更简单的方法来安装和配置天鹅座？似乎很难将Bigdata与fi-ware一起使用。

谢谢

Answer 1

首先，一些重要的评论：

Cygnus不是FI-WARE大数据启用程序，它是一个连接器，负责将Orion Context Broker管理的实时上下文数据存储在几个持久存储中，以生成历史数据集。其中一个存储可能是Big Data启用程序，但它也可能是MySQL server或CKAN部署。
在撰写此回复的那一刻，Cygnus没有正式的0.3版本，它将于2014年6月底发布：https://github.com/telefonicaid/fiware-connectors/issues?milestone=2&state=open

据说，安装Cygnus非常简单。基本上，你必须安装Apache Flume，然后构建Cygnus jar，它将包含Flume的其他类。

Cygnus 0.1 建筑就像在做：

$ cd /path/to/cygnus/folder
$ /path/to/maven/bin/mvn package
$ cp target/cygnus-0.1.jar /path/to/flume/lib

此类版本不支持MySQL或Hive表自动创建。

Cygnus 0.2 和 Cygnus 0.2.1 都需要几个第三方库，但大多数都是使用此命令自行使用Cygnus类，如文档所述在自述文件中：

$ cd /path/to/cygnus/folder
$ /path/to/maven/bin/mvn clean compile assembly:single
$ cp target/cygnus-0.2.x-jar-with-dependencies.jar /path/to/flume/plugins.d/cygnus/lib

您唯一需要做的就是升级Flume libthrift库并复制/path/to/flume/plugins.d/cygnus/libext中的MySQL连接器。您在README中找到的库列表仅用于文档目的（如此处所述）。

无论如何，我们正在努力生成自动执行上述步骤的RPM。所以请继续关注！

Fi-Ware Bigdata配置

1 个答案: