我正在使用Pandas DataFrames处理和聚合行,以便将增量行追加到MariaDB服务器上的现有表(处理约545k文件,每个文件有1000条记录)。我正在使用DataFrame.to_sql()写入文件:
df.to_sql('mentions', engine, index=False, if_exists='append')
有时,由于某些源数据格式错误,这些调用中的每一次都会引发异常。是否有人知道DataFrame.to_sql()调用是否在支持事务的数据存储上是事务性的,并且整个DataFrame追加失败,或者是否只是生成INSERT语句,在其中我可能会部分加载DataFrames并引发异常?
谢谢!