在HDFS上存储WEKA jar文件并从mapreduce调用WEKA方法

Question

我们可以在hdfs上存储weka.jar，然后从mapper和reducer类调用它的方法吗？

假设我在文件中存储了大量实例，并且我想使用WEKA对它们进行聚类。我可以读取这些实例，然后从map-reduce程序中调用weka的SVM方法吗？

Answer 1

您无需手动将其存储在HDFS上。相反，当你运行你的工作时，你可以使用-libjars jar1，jar2 ...选项，以便自动将所需的jar分发给所有映射器，并自动将这些jar包含在所有映射器的类路径中。

另一个选项（即使第一个代表标准）是在你的hadoop安装的lib目录中包含你的WEKA jar。