将表格从一个数据库复制到另一个数据库

时间:2019-09-27 17:03:15

标签: python sql pandas amazon-s3 redhat

我正在尝试使用python将表从S3服务器复制到Redhat服务器,但无法正常工作。有什么想法吗?

作为最初的限制,我无法在原始服务器中创建临时表,只能将其复制到计算机上并从该计算机上载。

首先,我尝试使用熊猫创建一个空的数据框,并添加块以免出现此类内存问题,但是我遇到了以下错误,包括(OperationalError:('08S01','[08S01]通信链接失败(14 )(SQLFetch)')):

connection1 = pyodbc.connect(XXXX)
query1 = 'SELECT * FROM table'
dfl = []  


for i in pd.read_sql(query1, con=connection1 ,chunksize=1000):
dfl.append(chunk)


downloaded_data = pd.concat(dfl, ignore_index=True)

我不确定这是否是最好的方法,因此我很愿意提出建议。

1 个答案:

答案 0 :(得分:0)

我做了一个包含许多表的Oracle迁移数据库,但是丢失了此代码:-(

我基本上创建了以下步骤:

  • 连接源数据库;
  • 创建要迁移的所有表的列表。
  • 对于哪个表,您需要读取tab_column_name来提取列名序列表。
  • 将日期保存在字典中
  • 连接目标数据库(创建表)并输入与提取的字符串相同的字符串;

  • 我建议您从所有表中提取脚本并首先在目标中创建

  • 要在提取之前进行验证,请保存行计数表以使其在插入后匹配(在目标位置进行行计数)

我的表上有很多日期,而python给了我很好的表现。

我希望这对您有帮助