将Avro文件存储在HDFS中

Question

我正在尝试在HDFS上存储大量数据。我已经能够使用Python生成Avro文件。 Avro是否提供将输出直接存储到HDFS的功能？

Answer 1

Avro是用于以avro格式存储数据的序列化框架，它没有智能向HDFS写入任何内容。

您需要使用HDFS api将您的avros上传/写入HDFS，在python中使用类似的东西 ，其中srcPath是本地avro，dstPath在HDFS上

public void uploadToHdfs(String srcPath, String dstPath) throws IOException {
        FileSystem fs = getFileSystem();
        fs.copyFromLocalFile(new Path(srcPath), new Path(dstPath));
}

由于