Question

我很高兴今天发表我的第一个问题。首先，请原谅我可怜的英语。

我在Python代码中使用SQLite来实现一些简单的大文件管理系统。具体来说，我有一个大的平面文件（比如，1亿行）我想要使用3列（整数）的值进行排序，这样我就可以迭代它并进行一些计算。

这就是为什么我使用SQLite和一个大的SELECT ... ORDER BY（在一列上有一个索引）。由于这个大的SELECT对内存要求太高，我需要多次调用它，使用一些OFFSET和LIMIT。

我可以使用Linux排序，但我希望它与平台无关。

到目前为止，它工作正常（只要正确设置了正确的PRAGMA），但速度很慢。您有什么建议来优化这个吗？也许使用SQLite只是愚蠢......

非常感谢您的任何建议，评论等。

如果您需要有关数据库的一些血腥细节，则命令如下：

PRAGMA journal_mode = OFF
PRAGMA synchronous = 0
PRAGMA locking_mode = EXCLUSIVE
PRAGMA count_change = OFF
PRAGMA temp_store = 2
CREATE TABLE tmpTranscripts_arm_3R_transcripts (id INTEGER PRIMARY KEY, name varchar(255), chromosome varchar(255), start int(11), end int(11), direction tinyint(4), tags varchar(1023), bin int(11), exons varchar(10000))
CREATE INDEX 'iTranscript_arm_3R_14943' ON 'tmpTranscripts_arm_3R_transcripts' (start, end, direction)
INSERT INTO tmpTranscripts_arm_3R_transcripts (name, chromosome, start, end, direction, tags, bin, exons) VALUES ('SRR060644.1', 'arm_3R', 11450314, 11450337, -1, 'feature=transcript;bestRegion=(self);nbGaps=0;nbMismatches=0;ID=SRR060644.1;identity=100.0', 300011450, '')
(this, more than 10 millions times)
SELECT * FROM tmpTranscripts_arm_3R_transcripts ORDER BY start, end, direction LIMIT 0, 10000
(this, as much as needed)

Answer 1

我编写了一些示例脚本来创建数据库并遍历其所有元素。它看起来比你在评论中写的要快得多。您确定数据库访问是一个瓶颈吗？也许在你的脚本中你做了更多的事情，这需要花费很多时间。

我已经检查了2个数据库SQLite和MongoDB以及5百万个项目。对于SQLite，插入所有行需要大约1200秒，并选择它们大约300秒。 MongoDB速度更快，插入时间约为400秒，而选择时间不到100秒。

请使用我的样品检查您的代码，并检查您的选择是否相似。我用光标代替LIMIT / OFFSET。如果这仍然没有帮助那么我认为MongoDB值得一试。它有一个缺点 - 它需要64位操作系统来支持大型数据库（如你的）。如果您之前使用过它，那么这是Windows的最短安装指南：

从http://www.mongodb.org/downloads
运行“mongod.exe --dbpath。”
从http://pypi.python.org/pypi/pymongo/下载python 2.x模块或从http://pypi.python.org/pypi/pymongo3/下载python 3.x
运行我的脚本

这是我的SQLite的python 3.x测试脚本

import sqlite3
from time import time

conn = sqlite3.connect('test.dbase')

c = conn.cursor()

c.execute("""PRAGMA journal_mode = OFF""")
c.execute("""PRAGMA synchronous = 0""")
c.execute("""PRAGMA locking_mode = EXCLUSIVE""")
c.execute("""PRAGMA count_change = OFF""")
c.execute("""PRAGMA temp_store = 2""")

c.execute("""CREATE TABLE tmpTranscripts_arm_3R_transcripts (id INTEGER PRIMARY KEY, name varchar(255), chromosome varchar(255), start int(11), end int(11), direction tinyint(4), tags varchar(1023), bin int(11), exons varchar(10000))""")
c.execute("""CREATE INDEX 'iTranscript_arm_3R_14943' ON 'tmpTranscripts_arm_3R_transcripts' (start, end, direction)""")

t1 = time()

for i in range(0, 5000000):
    c.execute("""INSERT INTO tmpTranscripts_arm_3R_transcripts (name, chromosome, start, end, direction, tags, bin, exons) VALUES ('SRR060644.1', 'arm_3R', %d, %d, %d, 'feature=transcript;bestRegion=(self);nbGaps=0;nbMismatches=0;ID=SRR060644.1;identity=100.0', 300011450, '')""" % ((i+123)%352, (i+523)%422, (i+866)%536))
    if(not i%10000):
        print("Insert:", i)

t2 = time()
print("Insert time", t2-t1)

conn.commit()

t1 = time()
c.execute("""SELECT * FROM tmpTranscripts_arm_3R_transcripts ORDER BY start, end, direction""")

i = 0
for row in c:
    a = row[0]
    if(not i%10000):
        print("Get:", i, row)
    i+=1

t2 = time()
print("Sort time", t2-t1)

c.close()

和MongoDB

from pymongo import Connection
from pymongo import ASCENDING, DESCENDING
from time import time

connection = Connection()
connection = Connection('localhost', 27017)
db = connection['test-database']
collection = db['test-collection']
posts = db.posts

posts.create_index([("start", ASCENDING), ("end", ASCENDING), ("direction", ASCENDING)])

t1 = time()

for i in range(0, 5000000):
    post = { "name": 'SRR060644.1',
            "chromosome": 'arm_3R',
            "start": (i+123)%352,
            "end": (i+523)%422,
            "direction": (i+866)%536,
            "tags": 'feature=transcript;bestRegion=(self);nbGaps=0;nbMismatches=0;ID=SRR060644.1;identity=100.0',
            "bin": 300011450,
            "exons": ''}

    posts.insert(post)

    if(not i%10000):
        print("Insert:", i)

t2 = time()
print("Insert time", t2-t1)

t1 = time()

i = 0
for post in posts.find().sort([("start", ASCENDING), ("end", ASCENDING), ("direction", ASCENDING)]):
    if(not i%10000):
        print("Get:", i, post)
    i+=1

t2 = time()
print("Sort time", t2-t1)

使用SQLite进行大选择

1 个答案: