使用SQLAlchemy创建表,但推迟创建索引,直到加载数据

时间:2014-08-08 02:27:43

标签: python database postgresql pandas sqlalchemy

我有一个python文件,它使用SQLAlchemy定义给定数据库中的所有表,包括所有适用的索引和外键约束。 该文件看起来像这样:

Base = declarative_base()

class FirstLevel(Base):
    __tablename__ = 'first_level'
    first_level_id = Column(Integer, index=True, nullable=False, primary_key=True, autoincrement=True)
    first_level_col1 = Column(String(100), index=True)
    first_level_col2 = Column(String(100))
    first_level_col3 = Column(String(100))

class SecondLevel(Base):
    __tablename__ = 'second_level'
    second_level_id = Column(Integer, index=True, nullable=False, primary_key=True, autoincrement=True)
    first_level_id = Column(None, ForeignKey(FirstLevel.first_level_id, onupdate='cascade', ondelete='cascade', deferrable=True), index=True, nullable=False)
    second_level_col1 = Column(String(100), index=True)
    second_level_col2 = Column(String(100))
    second_level_col3 = Column(String(100))

class ThirdLevel(Base):
    __tablename__ = 'third_level'
    third_level_id = Column(Integer, index=True, nullable=False, primary_key=True, autoincrement=True)
    first_level_id = Column(None, ForeignKey(FirstLevel.first_level_id, onupdate='cascade', ondelete='cascade', deferrable=True), index=True, nullable=False)
    second_level_id = Column(None, ForeignKey(SecondLevel.second_level_id, onupdate='cascade', ondelete='cascade', deferrable=True), index=True, nullable=False)
    third_level_col1 = Column(String(100), index=True)
    third_level_col2 = Column(String(100))
    third_level_col3 = Column(String(100))

...

我可以使用此文件通过执行以下命令在postgres数据库中创建新架构:

engine = create_engine('postgresql://username:password@path_to_database')
Base.metadata.create_all(engine)

问题是我必须将大量数据加载到这个新创建的数据库中,如果我不删除索引和外键,这需要很长时间限制。但是在完成插入所有数据后手动删除并手动重新创建它们是一个很大的麻烦,并且消除了使用SQLAlchemy创建数据库模式的大部分便利。

我想知道是否有办法使用SQLAlchemy首先在数据库中创建表,加载数据,然后再次使用SQLAlchemy ORM创建所有索引和外键约束?

1 个答案:

答案 0 :(得分:2)

您可以使用Alembic迁移脚本执行此操作。

  1. 创建初始表/删除现有索引
  2. 加载数据
  3. 添加索引