SQLAlchemy经典映射模型到分片Postgres数据库

时间:2014-03-06 09:24:02

标签: python sqlalchemy mapping sharding

情况:

我有一组12个表(按月分类表示数据),它们分为6个数据库。我需要在任何给定月份的任何数据库中获取一组样本数据。

为什么我使用经典Mappping模型而不是声明模型:

我只需要访问12种类型的表中的一种,因为每次运行此代码时,我只会收集一个给定月份的数据样本。经典映射模型允许我动态定义我想要在运行时映射到的表名,而不是为6个数据库中的所有12个表创建映射,因为我认为声明是必需的。

问题:

我正在尝试按照entity_name example given here映射我的月份数据类到6个不同数据库上给定月份的每个表。

但是我得到一个UnmappedClassError声明我的基类,所有新类都来自,'未映射'。

因此,在尝试初始化我的一个新映射表type: <class '__main__.db1month1'>时,它正在报告UnmappedClassError: Class 'audit.db.orm.mappedclasses.MonthData' is not mapped

有什么想法吗?

如果需要,我可以在这里粘贴我的代码,但我担心它有点长。我使用entity_name示例中定义的map_class_to_some_table方法进行映射,但没有对其进行更改。

2 个答案:

答案 0 :(得分:2)

结束废弃所有内容并改为关注this ShardedSession example

我的最后一堂课看起来像这样:

class ShardSessionManager(object):

    def __init__(self, month):
        self.month = month

        #Step1: database engines
        self.engines = {}
        for name, db in shard_dbs.iteritems():
            self.engines[name] = create_engine('postgresql+psycopg2://', creator=db.get_connection, client_encoding='utf8')

        #Step2: create session function - bind shard ids to databases within a ShardedSession
        self.create_session = sessionmaker(class_=ShardedSession)
        self.create_session.configure(shards=self.engines,
                                      shard_chooser=self.shard_chooser, 
                                      id_chooser=self.id_chooser, 
                                      query_chooser=self.query_chooser)
        #Step3: table setup
        self._make_tables(self.month)

        #Step4: map classes
        self._map_tables()

    @staticmethod
    def shard_chooser(mapper, instance, clause=None):
        if isinstance(instance, DataTable):
            return id_chooser(instance.brand_id)

    @staticmethod
    def id_chooser(data_id):
        ...

    @staticmethod
    def query_chooser(query):
        ...

    def _make_tables(self, month):
        self.meta = MetaData()
        self.data_table = DataTable(month, self.meta).table 
        ... other tables ...

    def _map_tables(self):
        try:
            mapper(DataTable, self.data_table, 
                   properties={ ... })
            ...

    def get_random_data(self, parent_id):
        session = self.create_session()
        return session.query(DataTable).filter(...

答案 1 :(得分:0)

我遇到同样的情况。我的方法如下:

class_registry = {}                                                                                                                                                                    
DbBase = declarative_base(bind=engine, class_registry=class_registry)

def get_model(modelname, tablename, metadata=DbBase.metadata):
    if modelname not in class_registry: 
        model = type(modelname, (DbBase,), dict(
            __table__ = Table(tablename, metadata, autoload=True)
        ))  
    else:
        model = class_registry[modelname]
return model

效果很好。但@Katie的方法更好