如何使用csv-parse的读写流

时间:2019-01-04 07:46:20

标签: node.js express node-csv-parse

您好,我是新来的,现在我现在如何尝试使用readstream和write stream感到困惑(我使用此库https://www.npmjs.com/package/csv-parse

    fs.createReadStream(path.join(__dirname,"../demofile/Customers.csv"))
        .pipe(parse(options))
        .on('data', function(csvrow) {
            console.log(csvrow);
            //do something with csvrow
            output.push(csvrow);        
        })
        .on('end',function() {
        //do something wiht csvData
        console.log(csvData);
        });

但是我不认为这是正确的csv-parse读写流方式,有人可以建议我如何使用上述代码进行读写。基本上我想读取一个csv文件并将其写入另一个csv文件原因以使用读写流是因为我的文件大小约为2gb

1 个答案:

答案 0 :(得分:1)

以下代码使用流添加新列。我使用的文件约为500MB,最大使用的RAM小于50MB。请注意,我导入了const result = browser.executeAsync( (url, body, done) => { fetch(url, { method: 'POST', credentials: 'same-origin', headers: { 'Content-Type': 'application/json', }, body: JSON.stringify(body), }) .then(resp => resp.json()) .then(data => done(data)); },consentsUrl,consentRequestBody); browser.waitUntil(() => result.value.updated === true); 而不是Failed: Error setting arguments for script (WARNING: The server did not provide any stacktrace information) Command duration or timeout: 66 milliseconds Build info: version: '2.53.0', revision: '35ae25b', time: '2016-03-15 17:00:58' System info: host: '***-***-**-***', ip: '***.***.**.***', os.name: 'windows', os.arch: 'x86', os.version: '10.0', java.version: '1.8.0_181' Driver info: org.openqa.selenium.ie.InternetExplorerDriver Capabilities [{browserAttachTimeout=0, enablePersistentHover=true, ie.forceCreateProcessApi=false, ie.usePerProcessProxy=false, ignoreZoomSetting=false, handlesAlerts=true, version=11, platform=WINDOWS, nativeEvents=true,ie.ensureCleanSession=false, elementScrollBehavior=0, ie.browserCommandLineSwitches=, requireWindowFocus=false, browserName=internet explorer, initialBrowserUrl=about:blank, takesScreenshot=true, javascriptEnabled=true, ignoreProtectedModeSettings=false, enableElementCacheCleanup=true, cssSelectorsEnabled=true, unexpectedAlertBehaviour=dismiss}] Session ID: 0358936f-7358-4899-84dc-57b92133f3c2 ,它实际上是一个“伞”模块,其中包括csv-parsecsvcsv-parse和{{1} }。

csv-generate