使用Python将大数据加载到SQL Server [BCP]中

Question

使用正则表达式扫描非常大的每日事件日志后，我必须将它们加载到SQL Server数据库中。我不允许创建临时CSV文件，然后使用命令行BCP将它们加载到SQL Server数据库中。

使用Python，是否可以使用BCP流将数据加载到SQL Server数据库中？我想使用BCP的原因是为了提高插入SQL Server数据库的速度。

由于

Answer 1

只有使用ODBC调用级接口和使用SqlBulkCopy类的托管SqlClient .NET API才能使用BCP API。我不知道提供BCP API访问的Python扩展。

您可以在单个事务中插入多行以提高性能。这可以通过批处理单个插入语句或通过使用XML参数一次传递多行来实现（这也减少了往返）。