在hadoop中运行非mapreduce程序

Question

我有一个问题..我有一个用Netbeans编写的程序。程序从cassandra读取数据并将结果写入其中。我的程序根本不是MapReduce。我执行程序并从中生成一个.jar文件。现在，我想知道我是否可以在Hadoop中执行它？ 实际上，我想知道我可以在Hadoop中运行非MapReduce程序吗？

Answer 1

您可以将此程序架构为在Hadoop v2上作为Yarn应用程序运行。这需要重新构建您的应用程序以适应Yarn范例。这里给出了一个如何执行此操作的示例：Writing App Framework on Yarn

这不是一个简单的练习。此外，如果您对使用Hadoop感兴趣，我会考虑简单地重写您的应用程序以使用专为Hadoop编写的HBase（Cassandra的另一个No-SQL Columnar数据库竞争对手）。它会将您的查询请求转换为MapReduce调用自动。

Answer 2

这个问题很长，但从未得到回答。无论如何，有两个项目正在研究这个问题：

Apache Slider（孵化）：http://slider.incubator.apache.org/

和

Apache Myriad（孵化）：http://myriad.incubator.apache.org/

Slider主要由Hortonworks赞助，而Myriad是MapR / Mesosphere项目，由PayPal提供大量帮助。