Question

我有一个oracle服务器，需要在其中使用python将数据提取到文件中。这些文件由下游系统用作输入。

一些技术细节： Oracle和Python在不同的服务器上运行。所有脚本都在AWS RHEL EC2服务器上运行时，数据库由客户端托管。此屏幕快照中突出显示了EC2实例的详细信息。。

我的方法 为此，我选择Python的Pyodbc库连接到远程Oracle客户端并使用SQL查询提取数据。以下是根据提供的SQL查询获取数据的代码的摘录。

def fetch_data_to_file(self,curr,query,dataset):
    try:
        self.logger.info('Executing query: {}'.format(query))
        start = time.time()
        curr.execute(query)
        query_time = time.time()-start
        start = time.time()
        rowcount=0
        with open(dataset,'a+') as f:
            writer = csv.writer(f,delimiter='|')
            writer.writerow([i[0] for i in curr.description])
            self.logger.info('Writing file: {}'.format(dataset))
            while True:
                rows = curr.fetchmany(self.batch_limit)
                self.logger.info('Writing {} rows'.format(self.batch_limit))
                rowcount+=len(rows)
                if not rows:
                    break           

        self.timer.info('{} Query Execution Time: {} seconds'.format(dataset,query_time))
        self.timer.info('{} File Writing Time: {} seconds. at {} rows/second'.format(dataset,time.time()-start,int(rowcount / (time.time()-start))))

        self.logger.info("File written.")
    except Exception as e:
        self.error.info("Error in fetching data.Error: {}".format(e))
        raise SystemExit(1)

我正在提取的数据集接近8GB的未压缩大小（返回了近3500万行）。将代码下载到我的EC2服务器上需要花费大约1.5个小时的时间。我测试了batch_limits的多个变体，发现100万-200万是批量下载数据的最佳大小，但是我不确定是否还有其他方法可以更有效地确定我的批量大小。

我还研究了什么 我当时在网上寻找使用python将大型数据集写入文件的方法，许多建议使用Pandas。我试图弄清楚这一点，但没有做到。另外，在保存数据及其数据类型并将其提取到文件时，也很重要。

我的要求是：有什么我可以做得更好的方法来使此代码更高效？ Python是最适合此的语言吗？（请注意，无论我选择哪种语言，我都必须能够使工作自动化。由于我公司内部的价格挑战，目前选择许可图书馆有点困难。）

也不确定是否有帮助，但这是代码下载数据时的内存使用情况快照（htop）

Answer 1

一种可能性是下载免费的“ SQLcl”实用程序，该实用程序基本上是基于Java的SQL-Plus，但功能更多。 Download here。使用SQLcl可以执行的操作是将其放在客户端计算机上，并使用它来提取数据，同时还要为您处理定界符。在这里，我将分隔符设置为管道符号。这可能比尝试通过Python进行操作更为有效，而且您仍然可以编写脚本并从Python或任何地方调用它。

$ sqlcl username/password@'<hostname>:<port>/ORACLE_SID'
> Set sqlformat delimited |
> Spool <some file to hold the data>
> Select * from <some table>;
> Spool off

以上内容可以轻松放入shell脚本中。

#!/bin/bash

sqlcl username/password@'<hostname>:<port>/ORACLE_SID' <<EOF
Set sqlformat delimited |
Spool <some file to hold the data>
Select * from <some table>;
Spool off
EOF

示例

sqlcl> Select * from emp;
"EMPNO"|"ENAME"|"JOB"|"MGR"|"HIREDATE"|"SAL"|"COMM"|"DEPTNO"
7839|"KING"|"PRESIDENT"||17-NOV-81|5000||10
7698|"BLAKE"|"MANAGER"|7839|01-MAY-81|2850||30
7782|"CLARK"|"MANAGER"|7839|09-JUN-81|2450||10
7566|"JONES"|"MANAGER"|7839|02-APR-81|2975||20
7788|"SCOTT"|"ANALYST"|7566|09-DEC-82|3000||20
7902|"FORD"|"ANALYST"|7566|03-DEC-81|3000||20
7369|"SMITH"|"CLERK"|7902|17-DEC-80|800||20
7499|"ALLEN"|"SALESMAN"|7698|20-FEB-81|1600|300|30
7521|"WARD"|"SALESMAN"|7698|22-FEB-81|1250|500|30
7654|"MARTIN"|"SALESMAN"|7698|28-SEP-81|1250|1400|30
7844|"TURNER"|"SALESMAN"|7698|08-SEP-81|1500|0|30
7876|"ADAMS"|"CLERK"|7788|12-JAN-83|1100||20
7900|"JAMES"|"CLERK"|7698|03-DEC-81|950||30
7934|"MILLER"|"CLERK"|7782|23-JAN-82|1300||10

Answer 2

SQL * Plus 12.2的CSV模式是一种非常快速的以CSV格式转储数据的解决方案。如果还没有的话，可以从Instant Client packages免费获得SQL * Plus。

创建一个SQL脚本ex.sql，例如：

set feedback off
set arraysize 500
select * from locations;
exit

您可以/应该调整ARRAYSIZE以获得最佳性能。

然后使用-m 'csv on'选项调用SQL * Plus。这使用了一个新的快速I / O子系统：

sqlplus -l -s -m 'csv on delim |' cj@'"localhost/orclpdb1"' @ex.sql

请注意，-s选项将使密码提示不可见。

输出如下：

"LOCATION_ID"|"STREET_ADDRESS"|"POSTAL_CODE"|"CITY"|"STATE_PROVINCE"|"COUNTRY_ID"
1000|"1297 Via Cola di Rie"|"00989"|"Roma"||"IT"
. . .

我的发布公告blog post包含更多详细信息。

Answer 3

请记住一个想法是创建一个多线程的python方法，将您的数据集分成多个部分。根据您的目标数据库的不同，可以将这些文件读取到外部表中，从而可以避免将其推送到表中的另一步操作。

如何有效地将大型数据集从Oracle提取到文件中？

3 个答案: