Question

我试图在Linux中使用零拷贝语义 vmsplice（）/ splice（）但我没有看到任何性能提升。这个在Linux 3.10上，试用3.0.0和2.6.32。以下代码尝试要做文件写入，我也尝试过网络套接字写入（），不能看到任何进步。

有人能说出我做错了什么吗？

有没有人在生产中使用vmsplice（）/ splice（）获得了改进？

#include <assert.h>
#include <fcntl.h>
#include <iostream>
#include <stdlib.h>
#include <string.h>
#include <sys/time.h>
#include <unistd.h>
#include <vector>

const char *filename = "Test-File";
const int block_size = 4 * 1024;
const int file_size = 4 * 1024 * 1024;

using namespace std;

int pipes[2];
vector<char *> file_data;

static int NowUsecs() {
  struct timeval tv;
  const int err = gettimeofday(&tv, NULL);
  assert(err >= 0);
  return tv.tv_sec * 1000000LL + tv.tv_usec;
}

void CreateData() {
  for (int xx = 0; xx < file_size / block_size; ++xx) {
    // The data buffer to fill.
    char *data = NULL;
    assert(posix_memalign(reinterpret_cast<void **>(&data), 4096, block_size) == 0);
    file_data.emplace_back(data);
  }
}

int SpliceWrite(int fd, char *buf, int buf_len) {
  int len = buf_len;
  struct iovec iov;
  iov.iov_base = buf;
  iov.iov_len = len;

  while (len) {
    int ret = vmsplice(pipes[1], &iov, 1, SPLICE_F_GIFT);
    assert(ret >= 0);
    if (!ret)
      break;
    len -= ret;
    if (len) {
      auto ptr = static_cast<char *>(iov.iov_base);
      ptr += ret;
      iov.iov_base = ptr;
      iov.iov_len -= ret;
    }
  }

  len = buf_len;
  while (len) {
    int ret = splice(pipes[0], NULL, fd, NULL, len, SPLICE_F_MOVE);
    assert(ret >= 0);
    if (!ret)
      break;

    len -= ret;
  }

  return 1;
}

int WriteToFile(const char *filename, bool use_splice) {
  // Open and write to the file.
   mode_t mode = S_IRUSR | S_IWUSR | S_IRGRP | S_IROTH;
  int fd = open(filename, O_CREAT | O_RDWR, mode);
  assert(fd >= 0);

  const int start = NowUsecs();
  for (int xx = 0; xx < file_size / block_size; ++xx) {
    if (use_splice) {
      SpliceWrite(fd, file_data[xx], block_size);
    } else {
      assert(write(fd, file_data[xx], block_size) == block_size);
    }
  }
  const int time = NowUsecs() - start;

  // Close file.
  assert(close(fd) == 0);

  return time;
}

void ValidateData() {
  // Open and read from file.
  const int fd = open(filename, O_RDWR);
  assert(fd >= 0);

  char *read_buf = (char *)malloc(block_size);
  for (int xx = 0; xx < file_size / block_size; ++xx) {
    assert(read(fd, read_buf, block_size) == block_size);
    assert(memcmp(read_buf, file_data[xx], block_size) == 0);
  }

  // Close file.
  assert(close(fd) == 0);
  assert(unlink(filename) == 0);
}

int main(int argc, char **argv) {
  auto res = pipe(pipes);
  assert(res == 0);

  CreateData();
  const int without_splice = WriteToFile(filename, false /* use splice */);
  ValidateData();
  const int with_splice = WriteToFile(filename, true /* use splice */);
  ValidateData();

  cout << "TIME WITH SPLICE: " << with_splice << endl;
  cout << "TIME WITHOUT SPLICE: " << without_splice << endl;

  return 0;
}

Answer 1

几年前我做了一个概念验证，我使用经过优化的，专门定制的vmsplice（）代码获得了4倍的加速。这是针对基于socket / write（）的通用解决方案进行测量的。 This blog post from natsys-lab回应了我的发现。但我相信你需要有一个完全正确的用例来接近这个数字。

那你做错了什么？主要是我认为你在测量错误的东西。直接写入文件时，您有1个系统调用，即write（）。而你实际上并没有复制数据（除了内核）。当你有一个缓冲区包含你要写入磁盘的数据时，它不会比那更快。

在你的vmsplice / splice设置中，你仍在将数据复制到内核中，但是你总共有2个系统调用vmsplice（）+ splice（）来将它送到磁盘。速度与write（）相同可能只是Linux系统调用速度的证明:-)

更多＆＃34;公平＆＃34; setup将编写一个从stdin读取（）的程序，并将相同的数据写入stdout。编写一个相同的程序，只需将stdin（）stdin拼接成一个文件（或者在运行它时将stdout指向一个文件）。虽然这种设置可能太简单而无法真正展示任何内容。

除此之外：vmsplice（）的一个（未记录的？）功能是你也可以用来从管道中读取数据。我在旧的POC中使用了这个。它基本上只是一个基于使用vmsplice（）传递内存页的想法的IPC层。

注意：NowUsecs（）可能会溢出int

在Linux中使用vmsplice / splice进行零拷贝

1 个答案: