Question

我需要将pandas DataFrame对象转换为一系列可重现该对象的SQL语句。

例如，假设我有一个DataFrame对象：

>>> df = pd.DataFrame({'manufacturer': ['Audi', 'Volkswagen', 'BMW'], 
                       'model': ['A3', 'Touareg', 'X5']})
>>> df
  manufacturer    model
0         Audi       A3
1   Volkswagen  Touareg
2          BMW       X5

我需要将其转换为以下SQL表示形式（不完全相同）：

CREATE TABLE "Auto" (
"index" INTEGER,
  "manufacturer" TEXT,
  "model" TEXT
);
INSERT INTO Auto (manufacturer, model) VALUES ('Audi', 'A3'), ('Volkswagen', 'Touareg'), ('BMW', 'X5');

幸运的是，pandas DataFrame对象具有to_sql（）方法，该方法允许通过SQLAlchemy引擎将整个DataFrame转储到数据库中。我决定为此使用SQLite内存数据库：

>>> from sqlalchemy import create_engine
>>> engine = create_engine('sqlite://', echo=False)  # Turning echo to True just logs SQL statements, I'd avoid parsing this logs
>>> df.to_sql(name='Auto', con=engine)

我现在被困住了。我无法将SQLite内存数据库转储到SQL语句中，也找不到可以将SQL语句转储到文件中而不执行它们的sqlalchemy驱动程序。

是否可以将所有发送到SQLAlchemy引擎的查询作为SQL语句转储到文件中？

到目前为止，我的解决方案还不够完善：

>>> from sqlalchemy import MetaData
>>> meta = MetaData()
>>> meta.reflect(bind=engine)
>>> print(pd.io.sql.get_schema(df, name='Auto') + ';')
CREATE TABLE "Auto" (
"manufacturer" TEXT,
  "model" TEXT
);
>>> print('INSERT INTO Auto ({}) VALUES\n{};'.format(', '.join([repr(c) for c in df.columns]), ',\n'.join([str(row[1:]) for row in engine.execute(meta.tables['Auto'].select())])))
INSERT INTO Auto ('manufacturer', 'model') VALUES
('Audi', 'A3'),
('Volkswagen', 'Touareg'),
('BMW', 'X5');

实际上，我更喜欢不需要手动构建SQL语句的解决方案。

Answer 1

SQLite实际上允许使用dump command将整个数据库转储到一系列SQL语句中。对于SQLite：sqlite3，也可以通过connection object's iterdump() method在python DB-API接口中使用此功能。据我所知，SQLAlchemy不提供此功能。

因此，要将pandas DataFrame转储到一系列SQL语句中，首先需要将其转储到内存中的SQLite数据库中，然后使用iterdump（）方法转储该数据库：

from sqlalchemy import create_engine    

engine = create_engine('sqlite://', echo=False)
df.reset_index().to_sql(name=table_name, con=engine)  # reset_index() is needed to preserve index column in dumped data

with engine.connect() as conn:
    for line in conn.connection.iterdump():
        stream.write(line)
        stream.write('\n')

engine().connect().connection允许获取raw DBAPI connection。

将pandas DataFrame转储到SQL语句

1 个答案: