我们正在开发自定义ETL工具。我们从文件中的数据库中提取数据,文件可能包含clob数据。在加载方面,它获取文件并写入数据库表。在引入clob数据之前,所有文件都能正常工作。该文件可以包含数百万条记录。我们使用OleDb生成数据库模式,并通过读取块中的数据使用适配器进行更新。
我的问题是我们如何将clob数据插入数据库。如果文件包含数百万条记录,并且clob支持每条记录最多4GB的数据。
我们应该如何处理这些案例并使应用程序执行得更快,更不容易出错?
谢谢,兔子
答案 0 :(得分:1)
你的问题不明确。
clob数据是否与正在加载的其他字段内联?
您的代码是否可以插入单个clob?
当我使用clobs或blob提取和加载数据时,我将它们保存为单独的文件(1个CSV文件和每个clob一个文件)并按每个记录两个步骤执行加载 - 首先插入来自csv的非clob数据文件,然后更新插入clob的记录。