我想在数据库中插入10,00,000行，但插入的时间太长了。
e.g。现在我正在尝试使用2055行，将这些数据上传到数据库需要3分钟。这次对于2055个条目来说太多了。
以下是我将数据插入数据库的方法：
public void insert_database(Context context,String field1,String field2,String field3,String field4,String field5,String field6 ,String field7,String field8,String field9,String field10)
{
try
{
//RayAllen_Database.beginTransaction();
RayAllen_Database.execSQL(" insert or replace into "+ TableName_csv+" values( '"+field1+"' ,'"+field2+"','"+field3+"','"+field4+"','"+field5+"','"+field6+"','"+field7+"','"+field8+"','"+field9+"','"+field10+"');");
}
catch(Exception e)
{
//Log.i("Database Exception", "Exception");
e.printStackTrace();
}
}
并在另一个名为：解析数据的类中：这里我正在解析csv文件并在解析时：
尝试{
CSVReader reader=new CSVReader(new FileReader(filename));
String [] nextLine;
//create database
obj.create_database(context);
obj.OpenDatabase(context);
//reader.readNext();
while ((nextLine=reader.readNext())!=null)
{
//here I am calling the insert_database function
}
}
所以这里它逐个解析行并调用insert方法将该条目插入数据库..
但是花太多时间......我怎样才能提高这个性能？
答案 0 :(得分：8)
快速举例说明为什么你应该做正确的事情，而不是＆＃34;错误＆＃34;。这是在ICS 4.0.4上测试的，它具有可怕的INSERT性能。
首先，一个简单的SQLiteOpenHelper创建一个对列具有UNIQUE约束的表，以便立即引发冲突。
class SimpleHelper extends SQLiteOpenHelper {
// InsertHelpers are a really good idea - they format a prepared statement
// for you automatically.
InsertHelper mInsert;
public SimpleHelper(Context context) {
super(context, "tanika.db", null, 1);
}
@Override
public void onOpen(SQLiteDatabase db) {
super.onOpen(db);
mInsert = new InsertHelper(db, "target");
}
@Override
public void onCreate(SQLiteDatabase db) {
db.execSQL("CREATE TABLE target (\n" +
"_id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL,\n" +
"val1 TEXT NOT NULL,\n" +
"val2 TEXT NOT NULL,\n" +
"val3 TEXT NOT NULL,\n" +
// Let's make one unique so we can get some juicy conflicts
"val4 TEXT NOT NULL UNIQUE\n" +
")");
}
@Override
public void onUpgrade(SQLiteDatabase db, int oldVersion, int newVersion) {
}
}
捆绑在任何旧版Activity中，我们添加以下简单的测试方法：
long test(final int n) {
long started = System.currentTimeMillis();
ContentValues values = new ContentValues();
for (int i = 0; i < n; i++) {
values.clear();
// Every 20th insert, generate a conflict in val4
String val4 = String.valueOf(started + i);
if (i % 20 == 0) {
val4 = "conflict";
}
values.put("val1", "Value1");
values.put("val2", "Value2");
values.put("val3", "Value3");
values.put("val4", val4);
mHelper.mInsert.replace(values);
}
return System.currentTimeMillis() - started;
}
正如您所看到的，这会导致每隔20 INSERT左右发生冲突。调用InsertHelper#replace(..)会使帮助程序在冲突时使用INSERT OR REPLACE。
现在，让我们用＆amp;运行这个测试代码。没有围绕它的交易。
class Test1 extends AsyncTask<Integer, Void, Long> {
@Override
protected Long doInBackground(Integer... params) {
return test(params[0]);
}
@Override
protected void onPostExecute(Long result) {
System.out.println(getClass().getSimpleName() + " finished in " + result + "ms");
}
}
class Test2 extends AsyncTask<Integer, Void, Long> {
protected Long doInBackground(Integer... params) {
SQLiteDatabase db = mHelper.getWritableDatabase();
db.beginTransaction();
long started = System.currentTimeMillis();
try {
test(params[0]);
db.setTransactionSuccessful();
} finally {
db.endTransaction();
}
return System.currentTimeMillis() - started;
}
@Override
protected void onPostExecute(Long result) {
System.out.println(getClass().getSimpleName() + " finished in " + result + "ms");
}
}
一切都是这样开始的：
@Override
public void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.main);
mHelper = new SimpleHelper(this);
mHelper.getWritableDatabase(); // Forces the helper to initialize.
new Test1().execute(2055);
new Test2().execute(2055);
}
结果呢？如果没有交易，INSERT需要 41072毫秒。通过交易他们 940ms 。简而言之，FFS开始使用InsertHelper和事务。
答案 1 :(得分：3)
您可以使用离线工具填充数据库，然后在安装软件包时导入它。您可以将数据库存储在外部SD卡中或应用程序的资产文件夹中。
我就是这样做的：
使用Android Debuger Bridge（adb）将应用程序数据库复制到本地文件夹，如下所示：adb pull /data/data/<your application provider>/databases/yourdatbase.db C:/users/databases/yourdatbase.db。
使用您最喜欢的GUI / CLI工具连接到SQLites数据库C:/users/databases/yourdatbase.db，并完成1 000 000条记录的填充。
将填充的数据库复制到Android开发环境asset文件夹。
现在从设备中卸载您的应用程序，以确保首次安装时没有创建数据库。
修改SQLiteHepler类，以便检查数据库是否存在，如果存在，则使用该数据库。如果没有数据库，Helper会将您的资产文件夹中的一个与您的1 000 000条记录一起复制。我就是这样做的：
public class MyDatabaseHelper extends SQLiteOpenHelper {
/*
Other SQLiteOpenHelper declarations here ...
*/
private static final String DATABASE_NAME = "application.db";
private static final String DB_PATH = "/data/data/" + context.getPackageName() + "/databases/";
/*
Your SQLiteOpenHelper functions/procedures here ...
*/
public boolean isDataBaseExist() {
File dbFile = new File(DB_PATH + DATABASE_NAME);
return dbFile.exists();
}
public void copyDataBase(Context context) throws IOException {
this.getReadableDatabase();
InputStream inFile = context.getResources().getAssets().open(DATABASE_NAME);
// Path to the just created empty db
String outFileName = DB_PATH + DATABASE_NAME;
OutputStream outFile = new FileOutputStream(outFileName);
// transfer bytes from the inputfile to the outputfile
byte[] buffer = new byte[1024];
int length;
while ((length = inFile.read(buffer)) > 0) {
outFile.write(buffer, 0, length);
}
// Close the streams
outFile.flush();
outFile.close();
inFile.close();
}
此数据库将与您的应用程序兼容，并在首次启动时将所有数据都存在。可能有一个更简单的方法，但我希望这有助于某人。
答案 2 :(得分：2)
Speeding up sqlite insert operations经历了类似的案例，并展示了如何使用事务来优化插入。