Question

编写UDF时，我们说一个EvalFunc，是否可以通过

传递配置文件

properties = new Properties();
properties.load(new FileInputStream("conf/config.properties"));

在Hadoop模式下运行时？

最佳，将

Answer 1

以下是来自http://wiki.apache.org/hadoop/HadoopDfsReadWriteExample

的Simple Example to Read and Write files from Hadoop DFS

也许你可以找到一些有用的代码来完成你的工作。

以下是我的代码，它成功加载了hadoop中的属性文件，我使用了Apache Commons Configuration http://commons.apache.org/configuration/

public static void loadProperites(String path) throws ConfigurationException, IOException {
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path inFile = new Path(path);
    FSDataInputStream in = fs.open(inFile);

    PropertiesConfiguration config = new PropertiesConfiguration();
    config.load(in);

    in.close();
}

Answer 2

使用Apache Commons Configuration2和vfs2：

var t = new List<Prouducts>() { foundedDeviceOne , foundedDeviceThree , foundedDeviceThree  };

在udf中加载外部属性文件

2 个答案: