匿名文件流重用描述符

时间:2016-02-01 17:16:15

标签: java garbage-collection

以下代码块(每个代码块是否等效)会导致意外错误吗?我可以依赖行为,还是可以改变?

                     // 1st
FileOutputStream f = new FileOutputStream(...);
                     // some io, not shown

                     // 2nd
                 f = new FileOutputStream(f.getFD());
                     // some io, not shown

                     // 3rd
                 f = new FileOutputStream(f.getFD());
                     // some io, not shown


static FileOutputStream ExampleFunction(FileOutputStream fos) {
    return new FileOutputStream(fos.getFD());
}
//              |-- 3rd ------| |-- 2nd ------| |-- 1st ----------------|
ExampleFunction(ExampleFunction(ExampleFunction(new FileOutputStream(...))))

有两种可能的结果,我之前概述过。我总是假设最坏的结果,一旦没有引用持有它们就会收集未引用的对象。以下内容与第一个代码块有关。

案例#1:

当第二个FileOutputStream分配给f时,第一个输出流将不再具有任何引用,因此将被收集。完成后,将关闭基础文件描述符(在所有三个流之间共享)。此时,第二个FileOutputStream上的任何IO操作(未显示)都将抛出IOException。但是,第二个FileOutputStream保留对FileDescriptor的引用(现在已关闭),因此第三个赋值的RHS上的最终f.getFD()确实成功。当第三个FileOutputStream分配给f时,将收集第二个输出流,并且将再次关闭基础FileDescriptor(我相信会生成IOException)。但是,第三个流上的任何IO都将失败。

案例#2:

或者,FileDescriptor保留对已分配给它的所有可关闭对象的强引用。当第二个FileOutputStream分配给f时,FileDescriptor维护对第一个FileOutputStream的引用,以便永远不会收集和完成它,以便FileDescriptor保持打开状态。当第三个FileOutputStream分配给f时,描述符引用所有三个流并且不符合收集条件。

测试用例

我没有JDK7进行测试,但显然案例#1适用(JDK7 FileDescriptor.java),除非未知的第三部分持有引用或垃圾收集器进行特定豁免。

但是,JDK8显然会更改FileDescriptor以保存一个closeables列表,因此Case#2适用(JDK8 FileDescriptor.java)。我可以使用以下测试程序确认此行为(在openjdk8上):

import java.io.*;
import java.lang.ref.WeakReference;
import java.lang.Thread;
import java.lang.Runtime;
import java.lang.management.ManagementFactory;
import java.lang.management.OperatingSystemMXBean;
import com.sun.management.UnixOperatingSystemMXBean;
import java.util.ArrayList;
import java.util.Arrays;


class TestThread extends Thread {
    static void gc() {
        System.gc();

        try {
            sleep(1000);
        }
        catch (InterruptedException e) {
            System.err.println(e.getMessage());
        }
    }

    static void test(String message,
                     long fd_count_a,
                     ArrayList<WeakReference<FileOutputStream>> fw,
                     OperatingSystemMXBean os,
                     FileDescriptor fd
                     ) throws IOException {
        long fd_count_b = fd_count_b = ((UnixOperatingSystemMXBean) os).getOpenFileDescriptorCount() - fd_count_a;

        System.out.println("Results, " + message + ":");
        for (int  i=0; i<fw.size(); i++) {
            String prefix = "fw_" + String.valueOf(i);
            if (fw.get(i).get() == null) {
                System.out.println(prefix + ":\t\t" + "null");
                System.out.println(prefix + " open" + ":\t" + "no");
            } else {
                System.out.println(prefix + ":\t\t" + fw.get(i).get().toString());
                System.out.println(prefix + " open" + ":\t" + (fw.get(i).get().getFD().valid() ? "yes" : "no"));
            }
        }
        System.out.println("fd  :\t\t" + ((fd == null) ? "null" : fd.toString()));
        System.out.println("fds :\t\t" + String.valueOf(fd_count_b));
        System.out.println();
    }

    public void run() {
        try {
            run_contents();
        }
        catch (IOException e) {
            System.err.println(e.getMessage());
        }
    }

    public void run_contents() throws IOException {
        FileOutputStream                        f       = null;
        WeakReference<FileOutputStream>         fw_1    = null;
        WeakReference<FileOutputStream>         fw_2    = null;
        WeakReference<FileOutputStream>         fw_3    = null;
        FileDescriptor                          fd      = null;

        OperatingSystemMXBean os = ManagementFactory.getOperatingSystemMXBean();

        long fd_count_a = fd_count_a = ((UnixOperatingSystemMXBean) os).getOpenFileDescriptorCount();

        f       = new FileOutputStream("/dev/null");
        fw_1    = new WeakReference<FileOutputStream>(f);
        f.write(1);
        gc();
        test("after fw_1", fd_count_a, new ArrayList<WeakReference<FileOutputStream>>(Arrays.asList(fw_1)), os, f.getFD());

        f       = new FileOutputStream(f.getFD());
        fw_2    = new WeakReference<FileOutputStream>(f);
        f.write(2);
        gc();
        test("after fw_2", fd_count_a, new ArrayList<WeakReference<FileOutputStream>>(Arrays.asList(fw_1, fw_2)), os, f.getFD());

        f       = new FileOutputStream(f.getFD());
        fw_3    = new WeakReference<FileOutputStream>(f);
        f.write(3);
        gc();
        test("after fw_3", fd_count_a, new ArrayList<WeakReference<FileOutputStream>>(Arrays.asList(fw_1, fw_2, fw_3)), os, f.getFD());

        f.close();

        gc();
        test("after closing stream", fd_count_a, new ArrayList<WeakReference<FileOutputStream>>(Arrays.asList(fw_1, fw_2, fw_3)), os, f.getFD());

        fd = f.getFD();

        f = null;

        gc();
        test("after dereferencing stream", fd_count_a, new ArrayList<WeakReference<FileOutputStream>>(Arrays.asList(fw_1, fw_2, fw_3)), os, fd);

        fd = null;

        gc();
        test("after dereferencing descriptor", fd_count_a, new ArrayList<WeakReference<FileOutputStream>>(Arrays.asList(fw_1, fw_2, fw_3)), os, fd);
    }
}

class Test {
    public static void main(String[] args) {
        TestThread t = new TestThread();
        t.start();

        try {
            t.join();
        }
        catch (InterruptedException e) {
            System.err.println(e.getMessage());
        }
    }
}

具有以下输出:

Results, after fw_1:
fw_0:        java.io.FileOutputStream@7afd6488
fw_0 open:   yes
fd  :        java.io.FileDescriptor@743a95a7
fds :        1

Results, after fw_2:
fw_0:        java.io.FileOutputStream@7afd6488
fw_0 open:   yes
fw_1:        java.io.FileOutputStream@70050ff8
fw_1 open:   yes
fd  :        java.io.FileDescriptor@743a95a7
fds :        1

Results, after fw_3:
fw_0:        java.io.FileOutputStream@7afd6488
fw_0 open:   yes
fw_1:        java.io.FileOutputStream@70050ff8
fw_1 open:   yes
fw_2:        java.io.FileOutputStream@35079f9c
fw_2 open:   yes
fd  :        java.io.FileDescriptor@743a95a7
fds :        1

Results, after closing stream:
fw_0:        java.io.FileOutputStream@7afd6488
fw_0 open:   no
fw_1:        java.io.FileOutputStream@70050ff8
fw_1 open:   no
fw_2:        java.io.FileOutputStream@35079f9c
fw_2 open:   no
fd  :        java.io.FileDescriptor@743a95a7
fds :        0

Results, after dereferencing stream:
fw_0:        java.io.FileOutputStream@7afd6488
fw_0 open:   no
fw_1:        java.io.FileOutputStream@70050ff8
fw_1 open:   no
fw_2:        java.io.FileOutputStream@35079f9c
fw_2 open:   no
fd  :        java.io.FileDescriptor@743a95a7
fds :        0

Results, after dereferencing descriptor:
fw_0:        null
fw_0 open:   no
fw_1:        null
fw_1 open:   no
fw_2:        null
fw_2 open:   no
fd  :        null
fds :        0

然而,根据this bug report - 后来被还原和推迟 - 似乎有一种推动,以防止FileDescriptor保持对closeables的强引用。

所以,我的问题:

  • 我对JDK7的假设是否正确 - 它的行为与JDK8不同?
  • 我可以依赖JDK8的FileDescriptor的行为来保存对closeable的强引用,还是会在JDK的未来版本中恢复?

编辑:我发布了后续问题Invalidate Stream without Closing

1 个答案:

答案 0 :(得分:2)

  

我可以依赖行为

您只能依赖于包,类,公共/受​​保护字段或公共/受保护方法javadocs或JLS中指定的内容。毕竟,Java实现不需要使用OpenJDK的类,它们可以从头开始重新实现接口。

当某些措辞不清楚时,查看实现可能会有用,但参考实现不是规范的一部分。

您可以依赖特定于实现的行为,但在这种情况下,应该通过适当的检查来保护它,在可能的情况下提供回退代码路径并明确记录。

据我所知,由于此类问题,不鼓励直接使用FileDescriptors。例如。 this question表示当拥有它的第一个流关闭时,android会关闭FD