我有一个flume代理,它从一个假脱机目录源读取,并在一些转换后写入hdfs。 由于flume尝试将已处理的文件重命名为' .COMPLETED',我在写假脱机目录时收到权限被拒绝的异常。
我想知道给敏感数据写入权限是多么安全。
是否有一个关于水槽的解决方案来识别假脱机目录中的已处理文件
答案 0 :(得分:0)
假脱机目录源的工作方式需要重命名文件。
作为一种解决方法,拥有"只读"更安全。复制文件并创建一些机制(例如,cron作业),将文件复制到假脱机目录Flume具有写访问权限。 (并且可能将deletePolicy
配置选项设置为immediate
,以避免填满磁盘。)
如果您想申请此类功能,我建议您在https://issues.apache.org
创建一张新票