我在具有CSV文件的S3存储桶上有一个触发器。我正在尝试编写Node.js lambda函数以将CSV文件加载到DynamoDB表中。 我的文件看起来像这样:
Speed, San Diego, 35,0,0
Air, Houston, 32,0,0
Air, Chicago, 35,0,0
我的文件没有标题,但我需要使用以下键值:
Gauge: Speed, City: San Diego, Value:35, temp1: 0, temp2: 0
等等,我基本上只是尝试将其转换为DynamoDB JSON格式,一旦我将其转换为该格式,我可以加载它,但我还没有能够在线找到任何示例脚本。有没有人有一个如何将原始数据转换为DynamoDB JSON格式的例子?
我已经看过数据管道帖子,但我正在寻找一个Node.js方法将这些数据转换为DDB JSON。
答案 0 :(得分:2)
您可以使用csv-parse npm模块将CSV内容解析为JavaScript数组。我使用的是版本1.2.0,同步选项,但它应该适用于更高版本。
const parse = require('csv-parse/lib/sync');
function parseCsv( data, header ) {
// remove spaces in front of data
data = data.replace(/\s*,\s*/g, ",");
// add new line between header & data
data = `${header}\n${data}`;
return parse(data, {columns: true});
}
var csv =
`Speed, San Diego, 35,0,0
Air, Houston, 32,0,0
Air, Chicago, 35,0,0`;
// comma separate your header
var header = "Gauge,City,Value,temp1,temp2";
// #TEST
var ddbArray = parseCsv(csv, header);
console.log(JSON.stringify( ddbArray, 0, 2 ));
答案 1 :(得分:0)
您可以使用csvtojson将您的csv数据转换为lambda函数中的json对象。
这是一个快速而又肮脏的例子,让您了解这个想法:
var AWS = require('aws-sdk'),
Promise = require('bluebird'),
csv = require('csvtojson'),
uuid = require('uuid/v4');
AWS.config.setPromisesDependency(Promise);
var save = (items) => {
var dynamodb = new AWS.DynamoDB.DocumentClient();
var params = {
RequestItems: {
'MyDynamoDBTable': items
}
}
return dynamodb.batchWrite(params).promise();
}
var data =
"Speed, San Diego, 35,0,0 \n \
Air, Houston, 32,0,0 \n \
Air, Chicago, 35,0,0";
var items = [];
csv({noheader: true})
.fromString(data)
.on("csv", (row) => {
console.log(row);
var item = {
PutRequest: {
Item: {
id: uuid(),
gauge: row[0],
city : row[1],
value: row[3],
temp1: row[4],
temp2: row[5]
}
}
};
items.push(item);
})
.on('done', () => {
save(items)
.then((result) => console.log(result))
.catch((error) => console.error(error));
});