从数据库读取并写入本地驱动器，大数据

Question

我想从netezza数据库获取5 gb的数据并将其写入本地驱动器。我尝试了以下方法：

pd.concat([chunk for chunk in (pd.read_sql("""SELECT * FROM table""",conn,chunksize=10000))]).to_sql('table1',conn1)

这需要花费大量时间，差不多一天。任何人都可以建议一个替代方案来快速完成这个过程，所以我可以处理更大的25 gb数据吗？

Answer 1

如果只需要在DB的驱动器上存储数据，那么您可以使用以下选项 -

nzsql -u user -pw pwd -db database -o abc.dat -c "sql"

或

nzsql -u user -pw pwd -db database -c＆＃34; sql＆＃34; ＆GT; abc.dat

Answer 2

我建议使用transient external table。

CREATE EXTERNAL TABLE 'c:\localFileName.dat' USING (RemoteSource 'ODBC' delim '|')
as SELECT * FROM table;