Question

我目前无法让PyTables更快地将数据写入自身。让我解释一下我目前的情况。

现在我的数据是通过多播传输的，数据速率很高。我有一个解析器和一个数据结构，它将数据散列到字典中，这些字典被发送出去存储在PyTables中。

我有一个线程接受这个字典，它的键是id和id，它的值是一个适用于id的数据实例数组。线程迭代键值对，并将数据添加到与id对应的表中。

这是我当前的实现，到目前为止，字典数组充当缓冲区，随着时间的推移线性增加。这是我明显的问题。代码显示了写入程序线程写入数据的常量循环。

def acceptDict():
    while True:
        while not dicts.empty():
            lock.acquire()
            dictInst = dicts.get()
            print dicts.qsize()
            for instrument, dataArray in dictInst.iteritems():
                if instrument in tableExists:
                    tableD = openFi.getNode("/t" + str(instrument), "direct")
                else:
                    tableExists[instrument] = 1
                    group = openFi.createGroup("/", "t" + str(instrument), str(instrument))
                    tableD = openFi.createTable(group, "direct", Tick, "direct")
                for i in dataArray:
                    tableD.row['timestamp'] = i[0]
                    tableD.row['side'] = i[1]
                    tableD.row['level'] = i[2]
                    tableD.row['price'] = i[3]
                    tableD.row['quant'] = i[4]
                    tableD.row['orders'] = i[5]
                    tableD.row.append()
                tableD.flush()
            lock.release()

PyTables写得不够快

0 个答案: