读取hadoop map中的矩阵减少

Question

我有一个矩阵，想在hadoop多节点群集设置中将其传递给映射器类，但矩阵不在文件中。有没有办法传递矩阵而不将其写入文件？

Answer 1

在JobConf中，您可以使用方法setInputFormat指定输入。 InputFormat有许多实现其接口的类。

除了FileInputFormat及其子类之外，还有其他类实现InputFormat DBInputFormat，Parser.Node等更多的类..看看你是否可以使用它们。

如果不符合您的需求，请尝试构建您自己的自定义InputFormat类以实现相同的目标。