dask.s3fs是否实际使用缓存？

Question

当您调用S3FileSystem（）。open（...，fill_cache = True）时，它似乎仍然转到s3，仍然进行ssl握手等。这是否是未缓存的预期行为？

Answer 1

fill_cache选项的含义很明确

    If seeking to new a part of the file beyond the current buffer,
    with this True, the buffer will be filled between the sections to
    best support random access. When reading only a few specific chunks
    out of a file, performance may be better if False.

即，仅当您随机访问文件的一部分而文件保持打开状态时，它才有所不同。无论如何，都需要初始SSL连接/握手，唯一可能改变的是请求的字节的确切范围。

还要注意，s3ss使用boto Session，因此通常应将SSL连接池化并在可能的情况下重用。