亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

JDBC批量Insert深度優(yōu)化(沒事務(wù))

系統(tǒng) 1892 0
JDBC批量Insert深度優(yōu)化(沒事務(wù))
?
最近在做一個數(shù)據(jù)同步分發(fā)工具,高并發(fā),高效率,異步非實(shí)時是主要特點(diǎn)。
為此,選擇的方案是JDBC、只有兩種操作,插入和更新。
?
對于更新,只能逐條分批就可以了,優(yōu)化空間不大。
對于插入,則可以做批量的優(yōu)化,優(yōu)化的策略只能是具體問題具體分析,以測試結(jié)論為主要依據(jù)了。
?
環(huán)境:
MySQL 5.1
RedHat Linux AS 5
JavaSE 1.5
DbConnectionBroker 微型數(shù)據(jù)庫連接池
?
測試的方案:
執(zhí)行10萬次Insert語句,使用不同方式。
?
A組:靜態(tài)SQL,自動提交,沒事務(wù)控制(MyISAM引擎)
1、逐條執(zhí)行10萬次
2、分批執(zhí)行將10萬分成m批,每批n條,分多種分批方案來執(zhí)行。
?
B組:預(yù)編譯模式SQL,自動提交,沒事務(wù)控制(MyISAM引擎)
1、逐條執(zhí)行10萬次
2、分批執(zhí)行將10萬分成m批,每批n條,分多種分批方案來執(zhí)行。
-------------------------------------------------------------------------------------------
C組:靜態(tài)SQL,不自動提交,有事務(wù)控制(InnoDB引擎)
1、逐條執(zhí)行10萬次
2、分批執(zhí)行將10萬分成m批,每批n條,分多種分批方案來執(zhí)行。
?
D組:預(yù)編譯模式SQL,不自動提交,有事務(wù)控制(InnoDB引擎)
1、逐條執(zhí)行10萬次
2、分批執(zhí)行將10萬分成m批,每批n條,分多種分批方案來執(zhí)行。
?
本次主要測試A、B組,并得出測試結(jié)果。
?
SQL代碼
DROP TABLE IF EXISTS tuser;

CREATE TABLE tuser (
????id bigint (20) NOT NULL AUTO_INCREMENT,
???? name varchar (12) DEFAULT NULL ,
????remark varchar (24) DEFAULT NULL ,
????createtime datetime DEFAULT NULL ,
????updatetime datetime DEFAULT NULL ,
???? PRIMARY KEY (id)
) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
?
?
下面是A、B組的測試代碼:
package testbatch;

import java.io.IOException;
import java.sql.*;

/**
* JDBC批量Insert優(yōu)化(上)
*
* @author leizhimin 2009-7-29 10:03:10
*/

public class TestBatch {
???????? public static DbConnectionBroker myBroker = null ;

???????? static {
???????????????? try {
????????????????????????myBroker = new DbConnectionBroker( "com.mysql.jdbc.Driver" ,
???????????????????????????????????????? "jdbc:mysql: //192.168.104.163:3306/testdb",
???????????????????????????????????????? "vcom" , "vcom" , 2, 4,
???????????????????????????????????????? "c:\\testdb.log" , 0.01);
????????????????} catch (IOException e) {
????????????????????????e.printStackTrace();
????????????????}
????????}

???????? /**
???????? * 初始化測試環(huán)境
???????? *
???????? * @throws SQLException 異常時拋出
???????? */

???????? public static void init() throws SQLException {
????????????????Connection conn = myBroker.getConnection();
????????????????Statement stmt = conn.createStatement();
????????????????stmt.addBatch( "DROP TABLE IF EXISTS tuser" );
????????????????stmt.addBatch( "CREATE TABLE tuser (\n" +
???????????????????????????????? "????id bigint(20) NOT NULL AUTO_INCREMENT,\n" +
???????????????????????????????? "????name varchar(12) DEFAULT NULL,\n" +
???????????????????????????????? "????remark varchar(24) DEFAULT NULL,\n" +
???????????????????????????????? "????createtime datetime DEFAULT NULL,\n" +
???????????????????????????????? "????updatetime datetime DEFAULT NULL,\n" +
???????????????????????????????? "????PRIMARY KEY (id)\n" +
???????????????????????????????? ") ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8" );
????????????????stmt.executeBatch();
????????????????myBroker.freeConnection(conn);
????????}

???????? /**
???????? * 100000條靜態(tài)SQL插入
???????? *
???????? * @throws Exception 異常時拋出
???????? */

???????? public static void testInsert() throws Exception {
????????????????init();???????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
???????????????? for ( int i = 0; i < 100000; i++) {
????????????????????????String sql = "\n" +
???????????????????????????????????????? "insert into testdb.tuser \n" +
???????????????????????????????????????? "\t(name, \n" +
???????????????????????????????????????? "\tremark, \n" +
???????????????????????????????????????? "\tcreatetime, \n" +
???????????????????????????????????????? "\tupdatetime\n" +
???????????????????????????????????????? "\t)\n" +
???????????????????????????????????????? "\tvalues\n" +
???????????????????????????????????????? "\t('" + RandomToolkit.generateString(12) + "', \n" +
???????????????????????????????????????? "\t'" + RandomToolkit.generateString(24) + "', \n" +
???????????????????????????????????????? "\tnow(), \n" +
???????????????????????????????????????? "\tnow()\n" +
???????????????????????????????????????? ")" ;
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????Statement stmt = conn.createStatement();
????????????????????????stmt.execute(sql);
????????????????????????myBroker.freeConnection(conn);
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "單條執(zhí)行100000條Insert操作,共耗時:" + (end - start) / 1000f + "秒!" );
????????}

???????? /**
???????? * 批處理執(zhí)行靜態(tài)SQL測試
???????? *
???????? * @param m 批次
???????? * @param n 每批數(shù)量
???????? * @throws Exception 異常時拋出
???????? */

???????? public static void testInsertBatch( int m, int n) throws Exception {
????????????????init();???????????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
???????????????? for ( int i = 0; i < m; i++) {
???????????????????????? //從池中獲取連接
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????Statement stmt = conn.createStatement();
???????????????????????? for ( int k = 0; k < n; k++) {
????????????????????????????????String sql = "\n" +
???????????????????????????????????????????????? "insert into testdb.tuser \n" +
???????????????????????????????????????????????? "\t(name, \n" +
???????????????????????????????????????????????? "\tremark, \n" +
???????????????????????????????????????????????? "\tcreatetime, \n" +
???????????????????????????????????????????????? "\tupdatetime\n" +
???????????????????????????????????????????????? "\t)\n" +
???????????????????????????????????????????????? "\tvalues\n" +
???????????????????????????????????????????????? "\t('" + RandomToolkit.generateString(12) + "', \n" +
???????????????????????????????????????????????? "\t'" + RandomToolkit.generateString(24) + "', \n" +
???????????????????????????????????????????????? "\tnow(), \n" +
???????????????????????????????????????????????? "\tnow()\n" +
???????????????????????????????????????????????? ")" ;
???????????????????????????????? //加入批處理
????????????????????????????????stmt.addBatch(sql);
????????????????????????}
????????????????????????stmt.executeBatch();???? //執(zhí)行批處理
//????????????????????????stmt.clearBatch();????????//清理批處理
????????????????????????stmt.close();
????????????????????????myBroker.freeConnection(conn); //連接歸池
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "批量執(zhí)行" + m + "*" + n + "=" + m * n + "條Insert操作,共耗時:" + (end - start) / 1000f + "秒!" );
????????}

???????? /**
???????? * 100000條預(yù)定義SQL插入
???????? *
???????? * @throws Exception 異常時拋出
???????? */

???????? public static void testInsert2() throws Exception {???? //單條執(zhí)行100000條Insert操作,共耗時:40.422秒!
????????????????init();???????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
????????????????String sql = "" +
???????????????????????????????? "insert into testdb.tuser\n" +
???????????????????????????????? "????(name, remark, createtime, updatetime)\n" +
???????????????????????????????? "values\n" +
???????????????????????????????? "????(?, ?, ?, ?)" ;
???????????????? for ( int i = 0; i < 100000; i++) {
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????PreparedStatement pstmt = conn.prepareStatement(sql);
????????????????????????pstmt.setString(1, RandomToolkit.generateString(12));
????????????????????????pstmt.setString(2, RandomToolkit.generateString(24));
????????????????????????pstmt.setDate(3, new Date(System.currentTimeMillis()));
????????????????????????pstmt.setDate(4, new Date(System.currentTimeMillis()));
????????????????????????pstmt.executeUpdate();
????????????????????????pstmt.close();
????????????????????????myBroker.freeConnection(conn);
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "單條執(zhí)行100000條Insert操作,共耗時:" + (end - start) / 1000f + "秒!" );
????????}

???????? /**
???????? * 批處理執(zhí)行預(yù)處理SQL測試
???????? *
???????? * @param m 批次
???????? * @param n 每批數(shù)量
???????? * @throws Exception 異常時拋出
???????? */

???????? public static void testInsertBatch2( int m, int n) throws Exception {
????????????????init();???????????? //初始化環(huán)境
????????????????Long start = System.currentTimeMillis();
????????????????String sql = "" +
???????????????????????????????? "insert into testdb.tuser\n" +
???????????????????????????????? "????(name, remark, createtime, updatetime)\n" +
???????????????????????????????? "values\n" +
???????????????????????????????? "????(?, ?, ?, ?)" ;
???????????????? for ( int i = 0; i < m; i++) {
???????????????????????? //從池中獲取連接
????????????????????????Connection conn = myBroker.getConnection();
????????????????????????PreparedStatement pstmt = conn.prepareStatement(sql);
???????????????????????? for ( int k = 0; k < n; k++) {
????????????????????????????????pstmt.setString(1, RandomToolkit.generateString(12));
????????????????????????????????pstmt.setString(2, RandomToolkit.generateString(24));
????????????????????????????????pstmt.setDate(3, new Date(System.currentTimeMillis()));
????????????????????????????????pstmt.setDate(4, new Date(System.currentTimeMillis()));
???????????????????????????????? //加入批處理
????????????????????????????????pstmt.addBatch();
????????????????????????}
????????????????????????pstmt.executeBatch();???? //執(zhí)行批處理
//????????????????????????pstmt.clearBatch();????????//清理批處理
????????????????????????pstmt.close();
????????????????????????myBroker.freeConnection(conn); //連接歸池
????????????????}
????????????????Long end = System.currentTimeMillis();
????????????????System.out.println( "批量執(zhí)行" + m + "*" + n + "=" + m * n + "條Insert操作,共耗時:" + (end - start) / 1000f + "秒!" );
????????}

???????? public static void main(String[] args) throws Exception {
????????????????init();
????????????????Long start = System.currentTimeMillis();
????????????????System.out.println( "--------A組測試----------" );
????????????????testInsert();
????????????????testInsertBatch(100, 1000);
????????????????testInsertBatch(250, 400);
????????????????testInsertBatch(400, 250);
????????????????testInsertBatch(500, 200);
????????????????testInsertBatch(1000, 100);
????????????????testInsertBatch(2000, 50);
????????????????testInsertBatch(2500, 40);
????????????????testInsertBatch(5000, 20);
????????????????Long end1 = System.currentTimeMillis();
????????????????System.out.println( "B組測試過程結(jié)束,全部測試耗時:" + (end1 - start) / 1000f + "秒!" );

????????????????System.out.println( "--------B組測試----------" );
????????????????testInsert2();
????????????????testInsertBatch2(100, 1000);
????????????????testInsertBatch2(250, 400);
????????????????testInsertBatch2(400, 250);
????????????????testInsertBatch2(500, 200);
????????????????testInsertBatch2(1000, 100);
????????????????testInsertBatch2(2000, 50);
????????????????testInsertBatch2(2500, 40);
????????????????testInsertBatch2(5000, 20);

????????????????Long end2 = System.currentTimeMillis();
????????????????System.out.println( "B組測試過程結(jié)束,全部測試耗時:" + (end2 - end1) / 1000f + "秒!" );
????????}
}
?
運(yùn)行結(jié)果:
--------A組測試----------
單條執(zhí)行100000條Insert操作,共耗時:36.766秒!
批量執(zhí)行100*1000=100000條Insert操作,共耗時:33.625秒!
批量執(zhí)行250*400=100000條Insert操作,共耗時:35.063秒!
批量執(zhí)行400*250=100000條Insert操作,共耗時:35.296秒!
批量執(zhí)行500*200=100000條Insert操作,共耗時:37.016秒!
批量執(zhí)行1000*100=100000條Insert操作,共耗時:35.953秒!
批量執(zhí)行2000*50=100000條Insert操作,共耗時:36.265秒!
批量執(zhí)行2500*40=100000條Insert操作,共耗時:36.625秒!
批量執(zhí)行5000*20=100000條Insert操作,共耗時:37.234秒!
B組測試過程結(jié)束,全部測試耗時:323.906秒!
--------B組測試----------
單條執(zhí)行100000條Insert操作,共耗時:44.188秒!
批量執(zhí)行100*1000=100000條Insert操作,共耗時:34.235秒!
批量執(zhí)行250*400=100000條Insert操作,共耗時:34.328秒!
批量執(zhí)行400*250=100000條Insert操作,共耗時:34.032秒!
批量執(zhí)行500*200=100000條Insert操作,共耗時:33.625秒!
批量執(zhí)行1000*100=100000條Insert操作,共耗時:34.125秒!
批量執(zhí)行2000*50=100000條Insert操作,共耗時:33.797秒!
批量執(zhí)行2500*40=100000條Insert操作,共耗時:35.359秒!
批量執(zhí)行5000*20=100000條Insert操作,共耗時:36.218秒!
B組測試過程結(jié)束,全部測試耗時:320.0秒!
?
?
上面的測試結(jié)果似乎在意料之外,看來是用連接池技術(shù),各種執(zhí)行方式性能差異不是很大。細(xì)心觀察測試結(jié)果,可以得出一些結(jié)論。
結(jié)論:
?
以下結(jié)論以測試的環(huán)境和組別為前提:
?
數(shù)據(jù)庫連接池控制下,單線程,自動提交,沒事務(wù)控制(MyISAM引擎)
?
1、預(yù)定義SQL并沒有想象中的那么高效,因?yàn)閮山M測試結(jié)果相差3秒,最短執(zhí)行時間均為33.625秒!單項(xiàng)測試結(jié)果各有勝出。
?
2、批量執(zhí)行時,分批的大小對效率影響也很大,靜態(tài)SQL以200-1000條分批執(zhí)行為宜。預(yù)處理SQL以50-400條為宜。
?
3、通過結(jié)果看,預(yù)處理SQL效率稍稍勝出,因此批量執(zhí)行時候優(yōu)先選擇預(yù)定義SQL,預(yù)定義SQL還有個好處就是消耗的內(nèi)存較少。靜態(tài)SQL串會占用大量的內(nèi)存資源,容易導(dǎo)致內(nèi)存溢出的問題。
?
4、在批處理執(zhí)行的時候,每批執(zhí)行完成后,最好顯式的調(diào)用pstmt.close()或stmt.close()方法,以便盡快釋放執(zhí)行過的SQL語句,提高內(nèi)存利用率。
?
5、談到優(yōu)化方式,上面的批處理就是很好的優(yōu)化策略。
?
6、數(shù)據(jù)庫連接池可以大大提高效率,如果沒有連接池管理,效率會大大降低,但不管怎么連接,上面的優(yōu)化策略都是有效的。
?

本文出自 “ 熔 巖 ” 博客,轉(zhuǎn)載請與作者聯(lián)系!

JDBC批量Insert深度優(yōu)化(沒事務(wù))


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 亚洲香蕉 | 国产欧美日韩综合精品一区二区 | 亲热网站| 97干色| 久久这里只有精品首页 | 成人日韩视频 | 国产成人精品精品欧美 | 亚洲三级天堂 | 天天想夜夜操 | 婷婷丁香在线视频 | 在线观看欧美精品 | 国内精品久久久久影院中国 | 国产精品亚洲精品久久成人 | 欧美日韩乱码毛片免费观看 | 欧美精品一区二区三区视频 | 欧美日韩中文字幕在线视频 | 久久九九精品一区二区 | 久久99亚洲精品久久 | 久久爱www. | 欧美大片毛片大片 | 国产午夜精品久久久久九九 | 中国性猛交xxxxx免费看 | 婷婷精品进入 | 高清不卡免费一区二区三区 | 欧美日韩视频一区三区二区 | 欧美香蕉爽爽人人爽观看猫咪 | 国产香蕉国产精品偷在线观看 | 黄色在线免费观看网站 | 九草伊人 | 精品国产看高清国产毛片 | 亚洲一区精品中文字幕 | 九色九色九色在线综合888 | 久久成人精品 | 精品免费国产一区二区三区 | 手机看片日韩国产一区二区 | 男女乱淫真视频免费一级毛片 | 欧美成人在线免费 | 色综合久久夜色精品国产 | 最新国产麻豆精品 | 中文字幕在线精品视频万部 | 香蕉亚洲精品一区二区 |