通过camel将文件复制到HDFS2不起作用

时间:2015-04-01 09:43:02

标签: hadoop apache-camel hdfs

有没有人有通过驼峰将文件写入hdfs2的好例子?

我尝试了以下代码:

import org.apache.camel.CamelContext;
import org.apache.camel.ProducerTemplate;
import org.apache.camel.builder.RouteBuilder;
import org.apache.camel.impl.DefaultCamelContext;

public final class Main {

    private Main() {
    }

    public static void main(String args[]) throws Exception {
        CamelContext context = new DefaultCamelContext();
        context.addRoutes(new RouteBuilder() {
            public void configure() {
                from("file:C:\\FILES\\SRC\\2015-03-31_16-58-56.png?noop=true")
                        .to("hdfs2://xxxx:9000/testCamel/D2/qwe.png");
                        //.to("file:C:\\FILES\\OUT");
            }
        });
        //ProducerTemplate template = context.createProducerTemplate();

        context.start();

        context.stop();
    }
}

文件在HDFS中创建,但所有文件都是空的(0字节)。

1 个答案:

答案 0 :(得分:0)

从文件使用到HDFS时,请确保noop = false。 hdfs组件使用chunk来消耗,所以如果noop为true,camel会认为它已经消耗了它。