Question

我有一个Request Url: https://abcd.cahj.com/defj Response Code: 200 File Download Completed!!!，其中包含超过100,000条JSON记录。我需要将所有这些记录快速插入SQLite数据库。首先，我尝试一个接一个地插入数据库，但是要花1个多小时才能完成。

然后，我搜索是否有任何方法可以使用SQLite一次插入批量数据（批处理数据）。但是，它缺乏资源。然后，我尝试了以下代码。对于数据插入，我使用带有绑定参数的std::vector语句。我需要将此方法扩展为批量插入。

sqlite3_prepare

但是此代码不起作用。

或者还有其他方法可以完成我的任务吗？我需要更快地将所有JSON数据插入数据库。

Answer 1

此代码解决了我的问题。

void insertSAData(vector<json> saData){
        sqlite3_mutex_enter(sqlite3_db_mutex(db));
        char* errorMessage;
        sqlite3_exec(db, "PRAGMA synchronous=OFF", NULL, NULL, &errorMessage);
        sqlite3_exec(db, "PRAGMA count_changes=OFF", NULL, NULL, &errorMessage);
        sqlite3_exec(db, "PRAGMA journal_mode=MEMORY", NULL, NULL, &errorMessage);
        sqlite3_exec(db, "PRAGMA temp_store=MEMORY", NULL, NULL, &errorMessage);

        sqlite3_exec(db, "BEGIN TRANSACTION", NULL, NULL, &errorMessage);

        char const *szSQL = "INSERT INTO SA_DATA (DATA_ID,P_KEY,AMOUNT,AMOUNT_INDEX) VALUES (?,?,?,?);";
        int rc = sqlite3_prepare(db, szSQL, -1, &stmt, &pzTest);

        if( rc == SQLITE_OK ) {
            for(int x=0;x<saData.size();x++){
                // bind the value
                sqlite3_bind_int(stmt, 1, saData[x].at("lastSAId"));
                std::string hash = saData[x].at("public_key");
                sqlite3_bind_text(stmt, 2,  hash.c_str(), strlen(hash.c_str()), 0);
                sqlite3_bind_int64(stmt, 3, saData[x].at("amount"));
                string amount_index = saData[x].at("amount_idx");
                sqlite3_bind_int(stmt, 4, atoi(amount_index.c_str()));

                int retVal = sqlite3_step(stmt);
                if (retVal != SQLITE_DONE)
                {
                    printf("Commit Failed! %d\n", retVal);
                }

                sqlite3_reset(stmt);
            }

            sqlite3_exec(db, "COMMIT TRANSACTION", NULL, NULL, &errorMessage);
            sqlite3_finalize(stmt);
        }else{
            fprintf(stderr, "SQL error: %s\n", zErrMsg);
            sqlite3_free(zErrMsg);
        }

        sqlite3_mutex_leave(sqlite3_db_mutex(db));
    }

使用C ++中的prepare语句在SQLite中批量插入数据

1 个答案: