将查询批处理以进行更新,因为操作会保持超时

时间:2017-09-12 20:50:53

标签: python sqlalchemy batch-processing querying

我正在SQLAlchemy中进行以下数据迁移,并且操作会保持超时,所以我想以允许我完成迁移的方式批处理查询。

session = Session()
q = session.query(RawDocument)

for i in q:
    my_tf_dict = get_word_count(i)
    new_ob = ten_q()
    new_ob.tf_dict_phrases = my_tf_dict
    session.add(new_ob)
    del my_tf_dict

session.commit()

我认为yield_per()可能是一种选择吗? https://www.codepowered.com/manuals/SQLAlchemy-0.6.9-doc/html/orm/query.html

另外,也许应用这些方法可行吗? https://carto.com/docs/carto-engine/sql-api/batch-queries/

表我正在尝试更新:

id     cik  tf_dict_phrase  factset_id                   key_name
1   706688                  000BFT-E    10q/706688_2005-5-10_10-Q
2   706688                  000BFT-E    10q/706688_2005-8-8_10-Q
3   706688                  000BFT-E    10q/706688_2005-11-8_10-Q

0 个答案:

没有答案