Question

我正在尝试编写一个带URL的Node.js脚本（以下载一个文件）通过命令行指定。脚本使用HTTP Range请求标头以可配置数量的块和块大小下载文件，然后以正确的字节顺序写入输出文件。

当前希望通过2个块的1 MiB（1,048,576字节）来实现此目的，总共需要2个MiB（2,097,152 B）。

当前问题我正在执行中，或者只是我的理解是我的脚本正在为每个请求写入〜1,800,000字节，导致总共3,764,942字节。不确定这些多余的字节来自何处？

这是由于我在此脚本中错过的错误还是由于所使用的请求库中的开销所致，还是我缺少有关将Mib转换为字节的信息？

只要正确的字节数顺序正确，文件的内容现在就无关紧要。
卷曲测试URL并将范围标头设置为1MiB块，然后将其附加到文件中，从而使总字节数接近预期值。 curl 'https://eloquentjavascript.net/Eloquent_JavaScript.pdf' -i -H "Range: bytes=0-2097152" => 2097435 B文件
我正在终端node index.js --url='https://eloquentjavascript.net/Eloquent_JavaScript.pdf' --file='newfile.txt' --chunks 2中运行此命令
使用Node v10.12.0，minimist v1.2.0和request-promise v4.2.2

下面的整个脚本：

'use strict';

const argv = require('minimist')(process.argv.slice(2), {
    default: {
        file: 'output.txt',
        MiB: 1,
        chunks: 4
    }
});
const fs = require('fs');
const request = require('request-promise');

// Source URL must be specified through command line option.
if (!argv.url) throw Error('Source URL is required!');

const options = {
    method: 'GET',
    uri: argv.url
}

const determineChunkRange = (step) => {
    // 1 Mib = 1,048,576 B.
    // Only 1 MiB chunks are downloaded.
    const chunkSize = argv.MiB * 1048576;
    const startOfRange = step === 0 ? 0 + ((chunkSize * step)) : 1 + ((chunkSize * step));
    const endOfRange = startOfRange + chunkSize;

    return {'Range': `bytes=${startOfRange}-${endOfRange}`}
}

const getOptions = (step) => {
    options.headers = determineChunkRange(step);

    return options;
}

const addDataToFile = (data) => {
    try {
        fs.appendFileSync(argv.file, data);
        console.log("Data written to file.");
    } catch (err) {
        console.log(`Error appending to ${argv.file}`, err);
    }
}

// Create or Replace file with specific filename.
fs.writeFileSync(argv.file, '');
console.log("Successfully created new file.");

// Make specified number of requests.
for (let i = 0; i < argv.chunks; i++) {
    const options = getOptions(i);

    // make request to specified URL.
    request(options)
        .then(response => {
            console.log(i, options)
            addDataToFile(response)
        })
        .catch(error => {
            console.log(`Error making request to ${argv.url}`, error)
        });
}

Answer 1

问题是您添加了整个响应对象，而不是内容/正文。

您可以使用响应的data事件获取内容，然后将其附加到文件中。

使用HTTP Range标头的Node.js脚本请求导致的字节数超过了请求的字节数。

下面的整个脚本：

1 个答案: