创建JSON服务以读取/写入HDFS数据

Question

我的要求如下：

我们正在尝试为其中一位客户实施推荐引擎。为了实现这一目标，我们需要从Web应用程序中存储HDFS中的数据（对于产品的每次点击），并在后端计算建议并在Web应用程序中显示结果（作为产品）。

我的方法如下所示：

1. 我们已经下载并配置了Cloudera
2. 我们已经下载/配置了Apache Mlib（推荐引擎）
3. 使用Eclipse Luna，我们可以运行Mlib（使用Java插件）
4. 现在我们需要创建一个JSON服务，它将从web和
   数据中读取数据 存储在HDFS中。我们陷入了这一步。
5. 现在我们需要创建一个可以从HDFS读取数据的JSON服务 计算建议并以动态显示JSON格式的结果。

我们陷入第4步＆amp; 5.请建议，我们如何创建一个JSON服务来从HDFS读/写？

Answer 1

你问了一个非常笼统的问题。我建议你先熟悉Apache Spark。快速阅读guide。开始从hdfs读取\写入数据到jsonRDD，如tutorial中所述。在了解了如何使用批处理之后，请阅读spark streaming。

有一个old story托勒密我问过，学习几何学的路径是否比欧几里德的元素更短。欧几里得回答说几何学没有皇家之路。因此除了阅读和理解Apache Spark Usage的基础知识之外，没有快速的方法为您的客户构建mllib引擎。祝你好运！