JDBC批量Insert深度優(yōu)化（沒事務(wù)）
?
最近在做一個數(shù)據(jù)同步分發(fā)工具，高并發(fā)，高效率，異步非實(shí)時是主要特點(diǎn)。
為此，選擇的方案是JDBC、只有兩種操作，插入和更新。
?
對于更新，只能逐條分批就可以了，優(yōu)化空間不大。
對于插入，則可以做批量的優(yōu)化，優(yōu)化的策略只能是具體問題具體分析，以測試結(jié)論為主要依據(jù)了。
?
環(huán)境：
MySQL 5.1
RedHat Linux AS 5
JavaSE 1.5
DbConnectionBroker 微型數(shù)據(jù)庫連接池
?
測試的方案：
執(zhí)行10萬次Insert語句，使用不同方式。
?
A組：靜態(tài)SQL，自動提交，沒事務(wù)控制（MyISAM引擎）
1、逐條執(zhí)行10萬次
2、分批執(zhí)行將10萬分成m批，每批n條，分多種分批方案來執(zhí)行。
?
B組：預(yù)編譯模式SQL，自動提交，沒事務(wù)控制（MyISAM引擎）
1、逐條執(zhí)行10萬次
2、分批執(zhí)行將10萬分成m批，每批n條，分多種分批方案來執(zhí)行。
-------------------------------------------------------------------------------------------
C組：靜態(tài)SQL，不自動提交，有事務(wù)控制（InnoDB引擎）
1、逐條執(zhí)行10萬次
2、分批執(zhí)行將10萬分成m批，每批n條，分多種分批方案來執(zhí)行。
?
D組：預(yù)編譯模式SQL，不自動提交，有事務(wù)控制（InnoDB引擎）
1、逐條執(zhí)行10萬次
2、分批執(zhí)行將10萬分成m批，每批n條，分多種分批方案來執(zhí)行。
?
本次主要測試A、B組，并得出測試結(jié)果。
?
SQL代碼
DROP
TABLE
IF
EXISTS
tuser;
CREATE TABLE tuser (
????id bigint (20) NOT NULL AUTO_INCREMENT,
???? name varchar (12) DEFAULT NULL ,
????remark varchar (24) DEFAULT NULL ,
????createtime datetime DEFAULT NULL ,
????updatetime datetime DEFAULT NULL ,
???? PRIMARY KEY (id)
) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
CREATE TABLE tuser (
????id bigint (20) NOT NULL AUTO_INCREMENT,
???? name varchar (12) DEFAULT NULL ,
????remark varchar (24) DEFAULT NULL ,
????createtime datetime DEFAULT NULL ,
????updatetime datetime DEFAULT NULL ,
???? PRIMARY KEY (id)
) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
?
?
下面是A、B組的測試代碼：
package
testbatch;
import java.io.IOException;
import java.sql.*;
/**
* JDBC批量Insert優(yōu)化（上）
*
* @author leizhimin 2009-7-29 10:03:10
*/
public class TestBatch {
???????? public static DbConnectionBroker myBroker = null ;
???????? static {
???????????????? try {
????????????????????????myBroker = new DbConnectionBroker( "com.mysql.jdbc.Driver" ,
???????????????????????????????????????? "jdbc:mysql: //192.168.104.163:3306/testdb",
???????????????????????????????????????? "vcom" , "vcom" , 2, 4,
???????????????????????????????????????? "c:\\testdb.log" , 0.01);
????????????????} catch (IOException e) {
????????????????????????e.printStackTrace();
????????????????}
????????}
???????? /**
???????? * 初始化測試環(huán)境
???????? *
???????? * @throws SQLException 異常時拋出
???????? */
???????? public static void init() throws SQLException {
????????????????Connection conn = myBroker.getConnection();
????????????????Statement stmt = conn.createStatement();
????????????????stmt.addBatch( "DROP TABLE IF EXISTS tuser" );
????????????????stmt.addBatch( "CREATE TABLE tuser (\n" +
???????????????????????????????? "????id bigint(20) NOT NULL AUTO_INCREMENT,\n" +
???????????????????????????????? "????name varchar(12) DEFAULT NULL,\n" +
???????????????????????????????? "????remark varchar(24) DEFAULT NULL,\n" +
???????????????????????????????? "????createtime datetime DEFAULT NULL,\n" +
???????????????????????????????? "????updatetime datetime DEFAULT NULL,\n" +
???????????????????????????????? "????PRIMARY KEY (id)\n" +
???????????????????????????????? ") ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8" );
????????????????stmt.executeBatch();
????????????????myBroker.freeConnection(conn);
????????}
???????? /**
???????? * 100000條靜態(tài)SQL插入
???????? *
???????? * @throws Exception 異常時拋出
???????? */
???????? public static void testInsert() throws Exception {
????????????????init();???????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
???????????????? for ( int i = 0; i < 100000; i++) {
????????????????????????String sql = "\n" +
???????????????????????????????????????? "insert into testdb.tuser \n" +
???????????????????????????????????????? "\t(name, \n" +
???????????????????????????????????????? "\tremark, \n" +
???????????????????????????????????????? "\tcreatetime, \n" +
???????????????????????????????????????? "\tupdatetime\n" +
???????????????????????????????????????? "\t)\n" +
???????????????????????????????????????? "\tvalues\n" +
???????????????????????????????????????? "\t('" + RandomToolkit.generateString(12) + "', \n" +
???????????????????????????????????????? "\t'" + RandomToolkit.generateString(24) + "', \n" +
???????????????????????????????????????? "\tnow(), \n" +
???????????????????????????????????????? "\tnow()\n" +
???????????????????????????????????????? ")" ;
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????Statement stmt = conn.createStatement();
????????????????????????stmt.execute(sql);
????????????????????????myBroker.freeConnection(conn);
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "單條執(zhí)行100000條Insert操作，共耗時：" + (end - start) / 1000f + "秒！" );
????????}
???????? /**
???????? * 批處理執(zhí)行靜態(tài)SQL測試
???????? *
???????? * @param m 批次
???????? * @param n 每批數(shù)量
???????? * @throws Exception 異常時拋出
???????? */
???????? public static void testInsertBatch( int m, int n) throws Exception {
????????????????init();???????????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
???????????????? for ( int i = 0; i < m; i++) {
???????????????????????? //從池中獲取連接
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????Statement stmt = conn.createStatement();
???????????????????????? for ( int k = 0; k < n; k++) {
????????????????????????????????String sql = "\n" +
???????????????????????????????????????????????? "insert into testdb.tuser \n" +
???????????????????????????????????????????????? "\t(name, \n" +
???????????????????????????????????????????????? "\tremark, \n" +
???????????????????????????????????????????????? "\tcreatetime, \n" +
???????????????????????????????????????????????? "\tupdatetime\n" +
???????????????????????????????????????????????? "\t)\n" +
???????????????????????????????????????????????? "\tvalues\n" +
???????????????????????????????????????????????? "\t('" + RandomToolkit.generateString(12) + "', \n" +
???????????????????????????????????????????????? "\t'" + RandomToolkit.generateString(24) + "', \n" +
???????????????????????????????????????????????? "\tnow(), \n" +
???????????????????????????????????????????????? "\tnow()\n" +
???????????????????????????????????????????????? ")" ;
???????????????????????????????? //加入批處理
????????????????????????????????stmt.addBatch(sql);
????????????????????????}
????????????????????????stmt.executeBatch();???? //執(zhí)行批處理
//????????????????????????stmt.clearBatch();????????//清理批處理
????????????????????????stmt.close();
????????????????????????myBroker.freeConnection(conn); //連接歸池
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "批量執(zhí)行" + m + "*" + n + "=" + m * n + "條Insert操作，共耗時：" + (end - start) / 1000f + "秒！" );
????????}
???????? /**
???????? * 100000條預(yù)定義SQL插入
???????? *
???????? * @throws Exception 異常時拋出
???????? */
???????? public static void testInsert2() throws Exception {???? //單條執(zhí)行100000條Insert操作，共耗時：40.422秒！
????????????????init();???????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
????????????????String sql = "" +
???????????????????????????????? "insert into testdb.tuser\n" +
???????????????????????????????? "????(name, remark, createtime, updatetime)\n" +
???????????????????????????????? "values\n" +
???????????????????????????????? "????(?, ?, ?, ?)" ;
???????????????? for ( int i = 0; i < 100000; i++) {
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????PreparedStatement pstmt = conn.prepareStatement(sql);
????????????????????????pstmt.setString(1, RandomToolkit.generateString(12));
????????????????????????pstmt.setString(2, RandomToolkit.generateString(24));
????????????????????????pstmt.setDate(3, new Date(System.currentTimeMillis()));
????????????????????????pstmt.setDate(4, new Date(System.currentTimeMillis()));
????????????????????????pstmt.executeUpdate();
????????????????????????pstmt.close();
????????????????????????myBroker.freeConnection(conn);
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "單條執(zhí)行100000條Insert操作，共耗時：" + (end - start) / 1000f + "秒！" );
????????}
???????? /**
???????? * 批處理執(zhí)行預(yù)處理SQL測試
???????? *
???????? * @param m 批次
???????? * @param n 每批數(shù)量
???????? * @throws Exception 異常時拋出
???????? */
???????? public static void testInsertBatch2( int m, int n) throws Exception {
????????????????init();???????????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
????????????????String sql = "" +
???????????????????????????????? "insert into testdb.tuser\n" +
???????????????????????????????? "????(name, remark, createtime, updatetime)\n" +
???????????????????????????????? "values\n" +
???????????????????????????????? "????(?, ?, ?, ?)" ;
???????????????? for ( int i = 0; i < m; i++) {
???????????????????????? //從池中獲取連接
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????PreparedStatement pstmt = conn.prepareStatement(sql);
???????????????????????? for ( int k = 0; k < n; k++) {
????????????????????????????????pstmt.setString(1, RandomToolkit.generateString(12));
????????????????????????????????pstmt.setString(2, RandomToolkit.generateString(24));
????????????????????????????????pstmt.setDate(3, new Date(System.currentTimeMillis()));
????????????????????????????????pstmt.setDate(4, new Date(System.currentTimeMillis()));
???????????????????????????????? //加入批處理
????????????????????????????????pstmt.addBatch();
????????????????????????}
????????????????????????pstmt.executeBatch();???? //執(zhí)行批處理
//????????????????????????pstmt.clearBatch();????????//清理批處理
????????????????????????pstmt.close();
????????????????????????myBroker.freeConnection(conn); //連接歸池
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "批量執(zhí)行" + m + "*" + n + "=" + m * n + "條Insert操作，共耗時：" + (end - start) / 1000f + "秒！" );
????????}
???????? public static void main(String[] args) throws Exception {
????????????????init();
????????????????Long start = System.currentTimeMillis();
????????????????System.out.println( "--------A組測試----------" );
????????????????testInsert();
????????????????testInsertBatch(100, 1000);
????????????????testInsertBatch(250, 400);
????????????????testInsertBatch(400, 250);
????????????????testInsertBatch(500, 200);
????????????????testInsertBatch(1000, 100);
????????????????testInsertBatch(2000, 50);
????????????????testInsertBatch(2500, 40);
????????????????testInsertBatch(5000, 20);
????????????????Long end1 = System.currentTimeMillis();
????????????????System.out.println( "B組測試過程結(jié)束，全部測試耗時：" + (end1 - start) / 1000f + "秒！" );
????????????????System.out.println( "--------B組測試----------" );
????????????????testInsert2();
????????????????testInsertBatch2(100, 1000);
????????????????testInsertBatch2(250, 400);
????????????????testInsertBatch2(400, 250);
????????????????testInsertBatch2(500, 200);
????????????????testInsertBatch2(1000, 100);
????????????????testInsertBatch2(2000, 50);
????????????????testInsertBatch2(2500, 40);
????????????????testInsertBatch2(5000, 20);
????????????????Long end2 = System.currentTimeMillis();
????????????????System.out.println( "B組測試過程結(jié)束，全部測試耗時：" + (end2 - end1) / 1000f + "秒！" );
????????}
}
import java.io.IOException;
import java.sql.*;
/**
* JDBC批量Insert優(yōu)化（上）
*
* @author leizhimin 2009-7-29 10:03:10
*/
public class TestBatch {
???????? public static DbConnectionBroker myBroker = null ;
???????? static {
???????????????? try {
????????????????????????myBroker = new DbConnectionBroker( "com.mysql.jdbc.Driver" ,
???????????????????????????????????????? "jdbc:mysql: //192.168.104.163:3306/testdb",
???????????????????????????????????????? "vcom" , "vcom" , 2, 4,
???????????????????????????????????????? "c:\\testdb.log" , 0.01);
????????????????} catch (IOException e) {
????????????????????????e.printStackTrace();
????????????????}
????????}
???????? /**
???????? * 初始化測試環(huán)境
???????? *
???????? * @throws SQLException 異常時拋出
???????? */
???????? public static void init() throws SQLException {
????????????????Connection conn = myBroker.getConnection();
????????????????Statement stmt = conn.createStatement();
????????????????stmt.addBatch( "DROP TABLE IF EXISTS tuser" );
????????????????stmt.addBatch( "CREATE TABLE tuser (\n" +
???????????????????????????????? "????id bigint(20) NOT NULL AUTO_INCREMENT,\n" +
???????????????????????????????? "????name varchar(12) DEFAULT NULL,\n" +
???????????????????????????????? "????remark varchar(24) DEFAULT NULL,\n" +
???????????????????????????????? "????createtime datetime DEFAULT NULL,\n" +
???????????????????????????????? "????updatetime datetime DEFAULT NULL,\n" +
???????????????????????????????? "????PRIMARY KEY (id)\n" +
???????????????????????????????? ") ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8" );
????????????????stmt.executeBatch();
????????????????myBroker.freeConnection(conn);
????????}
???????? /**
???????? * 100000條靜態(tài)SQL插入
???????? *
???????? * @throws Exception 異常時拋出
???????? */
???????? public static void testInsert() throws Exception {
????????????????init();???????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
???????????????? for ( int i = 0; i < 100000; i++) {
????????????????????????String sql = "\n" +
???????????????????????????????????????? "insert into testdb.tuser \n" +
???????????????????????????????????????? "\t(name, \n" +
???????????????????????????????????????? "\tremark, \n" +
???????????????????????????????????????? "\tcreatetime, \n" +
???????????????????????????????????????? "\tupdatetime\n" +
???????????????????????????????????????? "\t)\n" +
???????????????????????????????????????? "\tvalues\n" +
???????????????????????????????????????? "\t('" + RandomToolkit.generateString(12) + "', \n" +
???????????????????????????????????????? "\t'" + RandomToolkit.generateString(24) + "', \n" +
???????????????????????????????????????? "\tnow(), \n" +
???????????????????????????????????????? "\tnow()\n" +
???????????????????????????????????????? ")" ;
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????Statement stmt = conn.createStatement();
????????????????????????stmt.execute(sql);
????????????????????????myBroker.freeConnection(conn);
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "單條執(zhí)行100000條Insert操作，共耗時：" + (end - start) / 1000f + "秒！" );
????????}
???????? /**
???????? * 批處理執(zhí)行靜態(tài)SQL測試
???????? *
???????? * @param m 批次
???????? * @param n 每批數(shù)量
???????? * @throws Exception 異常時拋出
???????? */
???????? public static void testInsertBatch( int m, int n) throws Exception {
????????????????init();???????????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
???????????????? for ( int i = 0; i < m; i++) {
???????????????????????? //從池中獲取連接
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????Statement stmt = conn.createStatement();
???????????????????????? for ( int k = 0; k < n; k++) {
????????????????????????????????String sql = "\n" +
???????????????????????????????????????????????? "insert into testdb.tuser \n" +
???????????????????????????????????????????????? "\t(name, \n" +
???????????????????????????????????????????????? "\tremark, \n" +
???????????????????????????????????????????????? "\tcreatetime, \n" +
???????????????????????????????????????????????? "\tupdatetime\n" +
???????????????????????????????????????????????? "\t)\n" +
???????????????????????????????????????????????? "\tvalues\n" +
???????????????????????????????????????????????? "\t('" + RandomToolkit.generateString(12) + "', \n" +
???????????????????????????????????????????????? "\t'" + RandomToolkit.generateString(24) + "', \n" +
???????????????????????????????????????????????? "\tnow(), \n" +
???????????????????????????????????????????????? "\tnow()\n" +
???????????????????????????????????????????????? ")" ;
???????????????????????????????? //加入批處理
????????????????????????????????stmt.addBatch(sql);
????????????????????????}
????????????????????????stmt.executeBatch();???? //執(zhí)行批處理
//????????????????????????stmt.clearBatch();????????//清理批處理
????????????????????????stmt.close();
????????????????????????myBroker.freeConnection(conn); //連接歸池
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "批量執(zhí)行" + m + "*" + n + "=" + m * n + "條Insert操作，共耗時：" + (end - start) / 1000f + "秒！" );
????????}
???????? /**
???????? * 100000條預(yù)定義SQL插入
???????? *
???????? * @throws Exception 異常時拋出
???????? */
???????? public static void testInsert2() throws Exception {???? //單條執(zhí)行100000條Insert操作，共耗時：40.422秒！
????????????????init();???????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
????????????????String sql = "" +
???????????????????????????????? "insert into testdb.tuser\n" +
???????????????????????????????? "????(name, remark, createtime, updatetime)\n" +
???????????????????????????????? "values\n" +
???????????????????????????????? "????(?, ?, ?, ?)" ;
???????????????? for ( int i = 0; i < 100000; i++) {
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????PreparedStatement pstmt = conn.prepareStatement(sql);
????????????????????????pstmt.setString(1, RandomToolkit.generateString(12));
????????????????????????pstmt.setString(2, RandomToolkit.generateString(24));
????????????????????????pstmt.setDate(3, new Date(System.currentTimeMillis()));
????????????????????????pstmt.setDate(4, new Date(System.currentTimeMillis()));
????????????????????????pstmt.executeUpdate();
????????????????????????pstmt.close();
????????????????????????myBroker.freeConnection(conn);
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "單條執(zhí)行100000條Insert操作，共耗時：" + (end - start) / 1000f + "秒！" );
????????}
???????? /**
???????? * 批處理執(zhí)行預(yù)處理SQL測試
???????? *
???????? * @param m 批次
???????? * @param n 每批數(shù)量
???????? * @throws Exception 異常時拋出
???????? */
???????? public static void testInsertBatch2( int m, int n) throws Exception {
????????????????init();???????????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
????????????????String sql = "" +
???????????????????????????????? "insert into testdb.tuser\n" +
???????????????????????????????? "????(name, remark, createtime, updatetime)\n" +
???????????????????????????????? "values\n" +
???????????????????????????????? "????(?, ?, ?, ?)" ;
???????????????? for ( int i = 0; i < m; i++) {
???????????????????????? //從池中獲取連接
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????PreparedStatement pstmt = conn.prepareStatement(sql);
???????????????????????? for ( int k = 0; k < n; k++) {
????????????????????????????????pstmt.setString(1, RandomToolkit.generateString(12));
????????????????????????????????pstmt.setString(2, RandomToolkit.generateString(24));
????????????????????????????????pstmt.setDate(3, new Date(System.currentTimeMillis()));
????????????????????????????????pstmt.setDate(4, new Date(System.currentTimeMillis()));
???????????????????????????????? //加入批處理
????????????????????????????????pstmt.addBatch();
????????????????????????}
????????????????????????pstmt.executeBatch();???? //執(zhí)行批處理
//????????????????????????pstmt.clearBatch();????????//清理批處理
????????????????????????pstmt.close();
????????????????????????myBroker.freeConnection(conn); //連接歸池
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "批量執(zhí)行" + m + "*" + n + "=" + m * n + "條Insert操作，共耗時：" + (end - start) / 1000f + "秒！" );
????????}
???????? public static void main(String[] args) throws Exception {
????????????????init();
????????????????Long start = System.currentTimeMillis();
????????????????System.out.println( "--------A組測試----------" );
????????????????testInsert();
????????????????testInsertBatch(100, 1000);
????????????????testInsertBatch(250, 400);
????????????????testInsertBatch(400, 250);
????????????????testInsertBatch(500, 200);
????????????????testInsertBatch(1000, 100);
????????????????testInsertBatch(2000, 50);
????????????????testInsertBatch(2500, 40);
????????????????testInsertBatch(5000, 20);
????????????????Long end1 = System.currentTimeMillis();
????????????????System.out.println( "B組測試過程結(jié)束，全部測試耗時：" + (end1 - start) / 1000f + "秒！" );
????????????????System.out.println( "--------B組測試----------" );
????????????????testInsert2();
????????????????testInsertBatch2(100, 1000);
????????????????testInsertBatch2(250, 400);
????????????????testInsertBatch2(400, 250);
????????????????testInsertBatch2(500, 200);
????????????????testInsertBatch2(1000, 100);
????????????????testInsertBatch2(2000, 50);
????????????????testInsertBatch2(2500, 40);
????????????????testInsertBatch2(5000, 20);
????????????????Long end2 = System.currentTimeMillis();
????????????????System.out.println( "B組測試過程結(jié)束，全部測試耗時：" + (end2 - end1) / 1000f + "秒！" );
????????}
}
?
運(yùn)行結(jié)果：
--------A組測試----------
單條執(zhí)行100000條Insert操作，共耗時：36.766秒！
批量執(zhí)行100*1000=100000條Insert操作，共耗時：33.625秒！
批量執(zhí)行250*400=100000條Insert操作，共耗時：35.063秒！
批量執(zhí)行400*250=100000條Insert操作，共耗時：35.296秒！
批量執(zhí)行500*200=100000條Insert操作，共耗時：37.016秒！
批量執(zhí)行1000*100=100000條Insert操作，共耗時：35.953秒！
批量執(zhí)行2000*50=100000條Insert操作，共耗時：36.265秒！
批量執(zhí)行2500*40=100000條Insert操作，共耗時：36.625秒！
批量執(zhí)行5000*20=100000條Insert操作，共耗時：37.234秒！
B組測試過程結(jié)束，全部測試耗時：323.906秒！
--------B組測試----------
單條執(zhí)行100000條Insert操作，共耗時：44.188秒！
批量執(zhí)行100*1000=100000條Insert操作，共耗時：34.235秒！
批量執(zhí)行250*400=100000條Insert操作，共耗時：34.328秒！
批量執(zhí)行400*250=100000條Insert操作，共耗時：34.032秒！
批量執(zhí)行500*200=100000條Insert操作，共耗時：33.625秒！
批量執(zhí)行1000*100=100000條Insert操作，共耗時：34.125秒！
批量執(zhí)行2000*50=100000條Insert操作，共耗時：33.797秒！
批量執(zhí)行2500*40=100000條Insert操作，共耗時：35.359秒！
批量執(zhí)行5000*20=100000條Insert操作，共耗時：36.218秒！
B組測試過程結(jié)束，全部測試耗時：320.0秒！
單條執(zhí)行100000條Insert操作，共耗時：36.766秒！
批量執(zhí)行100*1000=100000條Insert操作，共耗時：33.625秒！
批量執(zhí)行250*400=100000條Insert操作，共耗時：35.063秒！
批量執(zhí)行400*250=100000條Insert操作，共耗時：35.296秒！
批量執(zhí)行500*200=100000條Insert操作，共耗時：37.016秒！
批量執(zhí)行1000*100=100000條Insert操作，共耗時：35.953秒！
批量執(zhí)行2000*50=100000條Insert操作，共耗時：36.265秒！
批量執(zhí)行2500*40=100000條Insert操作，共耗時：36.625秒！
批量執(zhí)行5000*20=100000條Insert操作，共耗時：37.234秒！
B組測試過程結(jié)束，全部測試耗時：323.906秒！
--------B組測試----------
單條執(zhí)行100000條Insert操作，共耗時：44.188秒！
批量執(zhí)行100*1000=100000條Insert操作，共耗時：34.235秒！
批量執(zhí)行250*400=100000條Insert操作，共耗時：34.328秒！
批量執(zhí)行400*250=100000條Insert操作，共耗時：34.032秒！
批量執(zhí)行500*200=100000條Insert操作，共耗時：33.625秒！
批量執(zhí)行1000*100=100000條Insert操作，共耗時：34.125秒！
批量執(zhí)行2000*50=100000條Insert操作，共耗時：33.797秒！
批量執(zhí)行2500*40=100000條Insert操作，共耗時：35.359秒！
批量執(zhí)行5000*20=100000條Insert操作，共耗時：36.218秒！
B組測試過程結(jié)束，全部測試耗時：320.0秒！
?
?
上面的測試結(jié)果似乎在意料之外，看來是用連接池技術(shù)，各種執(zhí)行方式性能差異不是很大。細(xì)心觀察測試結(jié)果，可以得出一些結(jié)論。
結(jié)論：
?
以下結(jié)論以測試的環(huán)境和組別為前提：
?
數(shù)據(jù)庫連接池控制下，單線程，自動提交，沒事務(wù)控制（MyISAM引擎）
?
1、預(yù)定義SQL并沒有想象中的那么高效，因?yàn)閮山M測試結(jié)果相差3秒，最短執(zhí)行時間均為33.625秒！單項(xiàng)測試結(jié)果各有勝出。
?
2、批量執(zhí)行時，分批的大小對效率影響也很大，靜態(tài)SQL以200-1000條分批執(zhí)行為宜。預(yù)處理SQL以50-400條為宜。
?
3、通過結(jié)果看，預(yù)處理SQL效率稍稍勝出，因此批量執(zhí)行時候優(yōu)先選擇預(yù)定義SQL，預(yù)定義SQL還有個好處就是消耗的內(nèi)存較少。靜態(tài)SQL串會占用大量的內(nèi)存資源，容易導(dǎo)致內(nèi)存溢出的問題。
?
4、在批處理執(zhí)行的時候，每批執(zhí)行完成后，最好顯式的調(diào)用pstmt.close()或stmt.close()方法，以便盡快釋放執(zhí)行過的SQL語句，提高內(nèi)存利用率。
?
5、談到優(yōu)化方式，上面的批處理就是很好的優(yōu)化策略。
?
6、數(shù)據(jù)庫連接池可以大大提高效率，如果沒有連接池管理，效率會大大降低，但不管怎么連接，上面的優(yōu)化策略都是有效的。
?
本文出自 “ 熔 巖 ” 博客，轉(zhuǎn)載請與作者聯(lián)系！
本文出自 51CTO.COM技術(shù)博客
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
