我在java应用程序中使用Pig。目前我有一个每隔15分钟运行一次查询的线程。每次运行后,我在我的临时文件夹中留下了MR Job Jar,在我的情况下是/ tmp。
他们构建代码的方式是在启动时创建1个PigServer实例。然后在循环中,我重新注册具有不同分区的查询,并通过openIterator调用执行查询。在线程关闭之前,PigServer不会关闭。
所以我的问题是,我需要预先打电话来清理罐子吗?或者我是否需要在每次执行时关闭PigServer?或者我应该在查询完成后自己清理FS?
答案 0 :(得分:0)
看起来你需要在每次使用后创建和销毁你的PigServer对象来清理tmp空间中的pig *目录。但是,这似乎并没有清理Job jar。所以我必须建立自己的清理功能来处理这个问题。