การแทรก 1000,000 แถวในฐานข้อมูล sqlite3

ตัวอย่างสั้นๆ ว่าทำไมคุณควรทำสิ่งที่ถูกต้องแทนที่จะเป็น "ผิด" สิ่งนี้ได้รับการทดสอบการทำงานบน ICS 4.0.4 ซึ่งมีประสิทธิภาพ INSERT แย่มาก

ขั้นแรก SQLiteOpenHelper แบบธรรมดาที่สร้างตารางที่มีข้อจำกัด UNIQUE ในคอลัมน์เพื่อทำให้เกิดความขัดแย้งเป็นครั้งคราว

class SimpleHelper extends SQLiteOpenHelper {
    // InsertHelpers are a really good idea - they format a prepared statement
    // for you automatically.
    InsertHelper mInsert;
    public SimpleHelper(Context context) {
        super(context, "tanika.db", null, 1);
    }
    @Override
    public void onOpen(SQLiteDatabase db) {
        super.onOpen(db);
        mInsert = new InsertHelper(db, "target");
    }
    @Override
    public void onCreate(SQLiteDatabase db) {
        db.execSQL("CREATE TABLE target (\n" +
                "_id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL,\n" +
                "val1 TEXT NOT NULL,\n" +
                "val2 TEXT NOT NULL,\n" +
                "val3 TEXT NOT NULL,\n" +
                // Let's make one unique so we can get some juicy conflicts
                "val4 TEXT NOT NULL UNIQUE\n" +
                ")");
    }
    @Override
    public void onUpgrade(SQLiteDatabase db, int oldVersion, int newVersion) {
    }
}

เมื่อรวมไว้ใน Activity เก่าใดๆ เราเพิ่มวิธีทดสอบง่ายๆ ต่อไปนี้:

long test(final int n) {
    long started = System.currentTimeMillis();
    ContentValues values = new ContentValues();

    for (int i = 0; i < n; i++) {
        values.clear();
        // Every 20th insert, generate a conflict in val4
        String val4 = String.valueOf(started + i);
        if (i % 20 == 0) {
            val4 = "conflict";
        }
        values.put("val1", "Value1");
        values.put("val2", "Value2");
        values.put("val3", "Value3");
        values.put("val4", val4);
        mHelper.mInsert.replace(values);
    }
    return System.currentTimeMillis() - started;
}

อย่างที่คุณเห็น สิ่งนี้จะทำให้เกิดข้อขัดแย้งทุกๆ 20 INSERT หรือประมาณนั้น การเรียก InsertHelper#replace(..) ทำให้ผู้ช่วยเหลือใช้ INSERT OR REPLACE กับข้อขัดแย้ง

ตอนนี้ เรามารันโค้ดทดสอบนี้โดยมีและไม่มีธุรกรรมล้อมรอบ

class Test1 extends AsyncTask<Integer, Void, Long> {
    @Override
    protected Long doInBackground(Integer... params) {
        return test(params[0]);
    }
    @Override
    protected void onPostExecute(Long result) {
        System.out.println(getClass().getSimpleName() + " finished in " + result + "ms");
    }
}

class Test2 extends AsyncTask<Integer, Void, Long> {
    protected Long doInBackground(Integer... params) {
        SQLiteDatabase db = mHelper.getWritableDatabase();
        db.beginTransaction();
        long started = System.currentTimeMillis();
        try {
            test(params[0]);
            db.setTransactionSuccessful();
        } finally {
            db.endTransaction();
        }
        return System.currentTimeMillis() - started;
    }
    @Override
    protected void onPostExecute(Long result) {
        System.out.println(getClass().getSimpleName() + " finished in " + result + "ms");
    }
}

ทุกอย่างเริ่มต้นเช่นนี้:

@Override
public void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    setContentView(R.layout.main);

    mHelper = new SimpleHelper(this);
    mHelper.getWritableDatabase(); // Forces the helper to initialize.
    new Test1().execute(2055);
    new Test2().execute(2055);
}

แล้วผลลัพธ์ล่ะ? หากไม่มีธุรกรรม INSERTs จะใช้เวลา 41072ms ด้วยการทำธุรกรรมจะใช้เวลา 940ms กล่าวโดยย่อ FFS เริ่มใช้ InsertHelpers และธุรกรรม

คุณสามารถเติมฐานข้อมูลของคุณโดยใช้เครื่องมือออฟไลน์ จากนั้นนำเข้าฐานข้อมูลเมื่อคุณติดตั้งแพ็คเกจของคุณ คุณสามารถจัดเก็บฐานข้อมูลในการ์ด SD ภายนอกหรือในโฟลเดอร์เนื้อหาของแอปพลิเคชันของคุณ

นี่คือวิธีที่ฉันทำ:

1. คัดลอกฐานข้อมูลแอปพลิเคชันไปยังโฟลเดอร์ในเครื่องโดยใช้ Android Debuger Bridge (adb) ดังนี้: adb pull /data/data/<your application provider>/databases/yourdatbase.db C:/users/databases/yourdatbase.db

2. เชื่อมต่อกับฐานข้อมูล SQLites C:/users/databases/yourdatbase.db ด้วยเครื่องมือ GUI/CLI ที่คุณชื่นชอบ และเติมเต็มจำนวนบันทึก 1,000,000 รายการของคุณให้สมบูรณ์

3. คัดลอกฐานข้อมูลที่มีประชากรของคุณไปยังโฟลเดอร์ asset สภาพแวดล้อมการพัฒนา Android ของคุณ

4. ตอนนี้ถอนการติดตั้งแอปพลิเคชันของคุณออกจากอุปกรณ์เพื่อให้แน่ใจว่าไม่มีการสร้างฐานข้อมูลเมื่อคุณติดตั้งเป็นครั้งแรก

5. แก้ไขคลาส SQLiteHepler ของคุณเพื่อตรวจสอบว่ามีฐานข้อมูลอยู่หรือไม่ และถ้ามีอยู่ก็จะใช้ฐานข้อมูลนั้น หากไม่มีฐานข้อมูลอยู่แล้ว Helper จะคัดลอกฐานข้อมูลจากโฟลเดอร์สินทรัพย์ของคุณพร้อมกับบันทึก 1 000 000 ของคุณ นี่คือวิธีที่ฉันทำ:

   public class MyDatabaseHelper extends SQLiteOpenHelper {
   
       /*
           Other SQLiteOpenHelper declarations here ...
       */
   
       private static final String DATABASE_NAME   = "application.db";
       private static final String DB_PATH         = "/data/data/" + context.getPackageName() + "/databases/";
   
   
       /*
           Your SQLiteOpenHelper functions/procedures here ...
       */
   
       public boolean isDataBaseExist() {
   
           File dbFile     = new File(DB_PATH + DATABASE_NAME);
           return dbFile.exists();
       }
   
       public void copyDataBase(Context context) throws IOException {
   
           this.getReadableDatabase();
   
           InputStream inFile      = context.getResources().getAssets().open(DATABASE_NAME);
   
           // Path to the just created empty db
           String outFileName      = DB_PATH + DATABASE_NAME;
           OutputStream outFile    = new FileOutputStream(outFileName);
   
           // transfer bytes from the inputfile to the outputfile
           byte[] buffer = new byte[1024];
   
           int length;
   
           while ((length = inFile.read(buffer)) > 0) {
   
               outFile.write(buffer, 0, length);
   
           }
   
           // Close the streams
           outFile.flush();
           outFile.close();
           inFile.close();
       } 
   

ฐานข้อมูลนี้จะสอดคล้องกับแอปของคุณ และเมื่อเปิดตัวครั้งแรก ข้อมูลทั้งหมดจะอยู่ที่นั่น อาจมีวิธีที่ง่ายกว่านี้ แต่ฉันหวังว่านี่จะช่วยใครซักคนได้

การเร่งความเร็วการดำเนินการแทรก sqlite จะต้องผ่าน กรณีที่คล้ายกันและแสดงวิธีใช้ธุรกรรมเพื่อเพิ่มประสิทธิภาพการแทรก