从S3上载数据到Redshift的最简单方法是什么?

时间:2019-07-29 15:24:00

标签: amazon-s3 amazon-redshift

我正在寻找一种将数据从S3加载到Redshift的简单方法。

我尝试过AWS Glue和Firehouse,但没有成功。

编辑: 目前,这并不是最好的方法,但是AWS Glue正在运行。我将取消COPY命令以尝试获得更好的结果!

谢谢大家!

1 个答案:

答案 0 :(得分:0)

最简单的解决方案是使用COPY命令,例如

                    #THIS IS MY PYTHON PROGRAM 
from pymodbus.client.sync import ModbusSerialClient as ModbusClient

client = ModbusClient(method='rtu', port='COM4', baudrate=2400, timeout=1)

client.connect()
read=client.read_holding_registers(address = 222 ,count =10,unit=1) 
//Address is register address e.g 30222, 
//and count is number of registers to read, 
//so it will read values of register 30222 to 30232
//unit is slave address, for 1 device leave it 1

data=read.registers[int(2)] #reading register 30223 
print(data) #printing value read in above line

默认情况下,数据文件应包含以管道分隔的纯文本列。还有更多选项:JSON,Parquet,使用清单文件从多个文件中加载等等。

UNLOAD是反向命令(将表转储到S3)。