如何为BucketingSink函数Flink设置动态基本路径?

时间:2019-02-19 07:20:11

标签: hadoop hdfs bigdata apache-flink flink-streaming

我正在从文件中获取一些json记录。我想解析json,然后基于json中的字段,更新存储区函数的基本路径。

例如:Json记录中有一个字段名'user-id',基于此,我想将我的基本路径更新为BucketingSink(“ / data / app / users /” + user-id-字段值 +“ /”)

我该怎么做?

代码:  DataStream输入= env.readTextFile(“ / home / user / Desktop / jsonFile”);

<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script>

1 个答案:

答案 0 :(得分:0)

使用BucketingSink.setBucketer()方法来设置您创建的类,该类实现Bucketer接口,并将user-id字段值用作子存储段路径。