Question

我正试图转移ca. 10GB的json数据（在我的情况下是推文）到arangodb中的一个集合。我也试图使用joblib：

from ArangoConn import ArangoConn
import Userdata as U

import encodings
from joblib import Parallel,delayed
import json
from glob import glob
import time


def progress(total, prog, start, stri = ""):
    if(prog == 0):
        print("")
        prog = 1;
    perc = prog / total
    diff = time.time() - start
    rem = (diff / prog) * (total - prog)
    bar = ""
    for i in range(0,int(perc*20)):
        bar = bar + "|"
    for i in range(int(perc*20),20):
        bar = bar + " "
    print("\r"+"progress: " + "[" + bar + "] " + str(prog) + " of " + 
    str(total) + ": {0:.1f}% ".format(perc * 100) + "- " + 
    time.strftime("%H:%M:%S", time.gmtime(rem)) + " " + stri, end="")

def processfile(filepath):
    file = open(filepath,encoding='utf-8')
    s = file.read()
    file.close()
    data = json.loads(s)
    Parallel(n_jobs=12, verbose=0, backend="threading"
    (map(delayed(ArangoConn.createDocFromObject), data))

files = glob(U.path+'/*.json')
i = 1
j = len(files)
starttime = time.time()
for f in files:
    progress(j,i,starttime,f)
    i = i+1
    processfile(f)

和

from pyArango.connection import Connection
import Userdata as U
import time


class ArangoConn:
    def __init__(self,server,user,pw,db,collectionname):
        self.server = server
        self.user = user
        self.pw = pw
        self.db = db
        self.collectionname = collectionname
        self.connection = None
        self.dbHandle = self.connect()
        if not self.dbHandle.hasCollection(name=self.collectionname):
            coll = self.dbHandle.createCollection(name=collectionname)
        else:
            coll = self.dbHandle.collections[collectionname]
        self.collection = coll

    def db_createDocFromObject(self, obj):
        data = obj.__dict__()
        doc = self.collection.createDocument()
        for key,value in data.items():
            doc[key] = value

        doc._key= str(int(round(time.time() * 1000)))
        doc.save()

    def connect(self):
        self.connection = Connection(arangoURL=self.server + ":8529",         
        username=self.user, password=self.pw)

        if not self.connection.hasDatabase(self.db):
            db = self.connection.createDatabase(name=self.db)
        else:
            db = self.connection.databases.get(self.db)
        return db

    def disconnect(self):
        self.connection.disconnectSession()


    def getAllData(self):

        docs = []
        for doc in self.collection.fetchAll():
            docs.append(self.doc_to_result(doc))
        return docs


    def addData(self,obj):
            self.db_createDocFromObject(obj)

    def search(self,collection,search,prop):
        docs = []
        aql = """FOR q IN """+collection+""" FILTER q."""+prop+""" LIKE 
            "%"""+search+"""%" RETURN q"""
        results = self.dbHandle.AQLQuery(aql, rawResults=False, batchSize=1)
        for doc in results:
            docs.append(self.doc_to_result(doc))
        return docs


    def doc_to_result(self,arangodoc):
        modstore = arangodoc.getStore()
        modstore["_key"] = arangodoc._key
        return modstore

    def db_createDocFromJson(self,json):

        for d in json:
            doc = self.collection.createDocument()
            for key,value in d.items():
                doc[key] = value
            doc._key = str(int(round(time.time() * 1000)))
            doc.save()



    @staticmethod
    def createDocFromObject(obj):
        c = ArangoConn(U.url, U.user, U.pw, U.db, U.collection)
        data = obj
        doc = c.collection.createDocument()
        for key, value in data.items():
            doc[key] = value
        doc._key = doc["id"]
        doc.save()
        c.connection.disconnectSession()

它有点像那样。我的问题是数据库中的数据在某种程度上是混淆的。

Screenshot

正如您在屏幕截图中看到的那样“id”和“id_str”不一样 - 就像它们应该的那样。

到目前为止我调查的内容：

我认为在某些时候数据库中的默认键可能会“碰撞” 因为线程所以我设置了推文id的关键。
我尝试没有多个线程。线程似乎不是问题
我查看了发送到数据库的数据......一切似乎都很好

但是一旦我与数据库通信，数据就会混淆。

我的教授认为pyarango中的某些内容可能不是线程安全的，它会弄乱数据，但我不认为线程似乎不是问题所在。

我没有想到这种行为可能来自...... 有什么想法吗？

Answer 1

屏幕截图显示以下值：

id     : 892886691937214500
id_str : 892886691937214465

它看起来像是将值转换为IEEE754双精度的某个地方，它无法安全地表示后一个值。因此转换可能会导致一些精度损失。

node.js中的一个简单示例（JavaScript对任何大于0xffffffff的数值使用IEEE754双精度数）表明这可能是导致问题的原因：

$ node
> 892886691937214500
892886691937214500
> 892886691937214465
892886691937214500

所以问题在于转换确实发生的地方。你能检查python客户端程序是否正确地将期望值发送到ArangoDB，还是已经发送了转换/截断值？

通常，超过0x7fffffffffffffff的任何整数都将在存储在ArangoDB中时被截断，或者转换为IEEE754双精度。这可以通过将数字值存储在字符串中来避免，但当然比较两个数字字符串会产生与比较两个数字不同的结果（例如"10" < "9"与10 > 9）。

在尝试将数据传输到arangodb时数据混乱

1 个答案: