1、SQL LOADER是ORACLE的數(shù)據(jù)加載工具,通常用來將操作系統(tǒng)文件遷移到ORACLE數(shù)據(jù)庫中。SQL*LOADER是大型數(shù)據(jù)倉庫選擇使用的加載方法,因為它提供了最快速的途徑(DIRECT,PARALLEL)。
它使用的命令為:在NT下,SQL LOADER的命令為SQLLDR,在UNIX下則為sqlldr/sqlload。
2、一般用法
sqlldr scott/tiger control=control_file.ctl log=logFile.log direct=true
其它參數(shù)則在輸入sqlldr命令時出現(xiàn):
用法: SQLLDR keyword=value [,keyword=value,...]
有效的關鍵字:
??? userid -- ORACLE username/password
?? control -- Control file name
?????? log -- Log file name
?????? bad -- Bad file name
????? data -- Data file name
????? discard -- Discard file name
????? discardmax -- Number of discards to allow??????? (全部默認)
????? skip -- Number of logical records to skip (默認0)
????? load -- Number of logical records to load (全部默認)
???? errors -- Number of errors to allow????????? (默認50)
????? rows -- Number of rows in conventional path bind array or between direct path data saves(默認: 常規(guī)路徑 64, 所有直接路徑)
bindsize -- Size of conventional path bind array in bytes(默認256000)
??? silent -- Suppress messages during run (header,feedback,errors,discards,partitions)
??? direct -- use direct path??????????????????? (默認FALSE)
??? parfile -- parameter file: name of file that contains parameter specifications
?? parallel -- do parallel load?????????????????? (默認FALSE)
????? file -- File to allocate extents from
skip_unusable_indexes -- disallow/allow unusable indexes or index partitions(默認FALSE)
?? skip_index_maintenance -- do not maintain indexes, mark affected indexes as unusable(默認FALSE)
?? readsize -- Size of Read buffer??????????????? (默認1048576)
?? external_table -- use external table for load; NOT_USED, GENERATE_ONLY, EXECUTE(默認NOT_USED)
?? columnarrayrows -- Number of rows for direct path column array(默認5000)
?? streamsize -- Size of direct path stream buffer in bytes(默認256000)
?? multithreading -- use multithreading in direct path
?? resumable -- enable or disable resumable for current session(默認FALSE)
resumable_name -- text string to help identify resumable statement
resumable_timeout -- wait time (in seconds) for RESUMABLE(默認7200)
date_cache -- size (in entries) of date conversion cache(默認1000)
PLEASE NOTE: 命令行參數(shù)可以由位置或關鍵字指定。前者的例子是 'sqlload scott/tiger foo'; 后一種情況的一個示例是 'sqlldr control=foo
userid=scott/tiger'.位置指定參數(shù)的時間必須早于但不可遲于由關鍵字指定的參數(shù)。例如,
允許 'sqlldr scott/tiger control=foo logfile=log', 但是
不允許 'sqlldr scott/tiger control=foo log', 即使
參數(shù) 'log' 的位置正確。
3、控制文件制定
LOAD DATA
INFILE 'input_File.csv’
INTO TABLE tableName
FIELDS TERMINATED BY ","
(field1,field2,field3,field4)
解釋:
infile 指數(shù)據(jù)源文件 這里我們省略了默認的 discardfile?? result.dsc?? badfile?? result.bad???
into?? table?? tableName 默認是INSERT,也可以 APPEND into?? table?? tableName 為追加方式,或REPLACE??
注意:
1、insert,為缺省方式,在數(shù)據(jù)裝載開始時要求表為空?????
2、append,在表中追加新記錄?????
3、replace,刪除舊記錄,替換成新裝載的記錄?????
4、truncate,同上??????
terminated?? by?? ',' 指用逗號分隔???
terminated?? by?? whitespace 結尾以空白分隔??
fields?? terminated?? by?? X'09' 字段終止于X'09',是一個制表符(TAB)
tableName:數(shù)據(jù)表
(field1,field2,field3,field4):數(shù)據(jù)表導入字段
注意:當infile *時,導入數(shù)據(jù)就在控制文件中.....
如:
LOAD DATA
INFILE *
APPEND INTO TABLE tableName
FIELDS TERMINATED BY "," Optionally enclosed by '"'
(field1,field2,field3,field4)
BEGINDATA
field1_data,field2_data,field3_data,field4_data
field1_data,field2_data,field3_data,field4_data
field1_data,field2_data,field3_data,field4_data
注:"*" 代表數(shù)據(jù)文件與此文件同名,即在后面使用BEGINDATA段來標識數(shù)據(jù)
4、并發(fā)操作
sqlldr scott/tiger control=control_file.ctl log=logFile.log direct=true parallel=true
5、導出規(guī)則數(shù)據(jù)
Oracle 沒有提供將數(shù)據(jù)導出到一個文件的工具。但是,我們可以用SQL*Plus的select 及 format 數(shù)據(jù)來輸出到一個文件 set echo off newpage 0 space 0 pagesize 0 feed off head off trimspool on
spool oradata.txt
select col1 || ',' || col2 || ',' || col3
from tab1
where col2 = 'XYZ';
spool off
?? 另外,也可以使用使用 UTL_FILE PL/SQL 包處理:
rem Remember to update initSID.ora, utl_file_dir='c:\oradata' parameter
declare
fp utl_file.file_type;
begin
fp := utl_file.fopen('c:\oradata','tab1.txt','w');
utl_file.putf(fp, '%s, %s\n', 'TextField', 55);
utl_file.fclose(fp);
end;
當然你也可以使用第三方工具,如SQLWays ,TOAD for Quest等。
加載可變長度或指定長度的記錄
如:
LOAD DATA
INFILE *
INTO TABLE load_delimited_data
FIELDS TERMINATED BY "," OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
( data1,
data2
)
BEGINDATA
11111,AAAAAAAAAA
22222,"A,B,C,D,"
下面是導入固定位置(固定長度)數(shù)據(jù)示例:
LOAD DATA
INFILE *
INTO TABLE load_positional_data
( data1 POSITION(1:5),
data2 POSITION(6:15)
)
BEGINDATA
11111AAAAAAAAAA
22222BBBBBBBBBB
跳過數(shù)據(jù)行:
可以用 "SKIP n" 關鍵字來指定導入時可以跳過多少行數(shù)據(jù)。如:
LOAD DATA
INFILE *
INTO TABLE load_positional_data
SKIP 5
( data1 POSITION(1:5),
data2 POSITION(6:15)
)
BEGINDATA
11111AAAAAAAAAA
22222BBBBBBBBBB
導入數(shù)據(jù)時修改數(shù)據(jù):
在導入數(shù)據(jù)到數(shù)據(jù)庫時,可以修改數(shù)據(jù)。注意,這僅適合于常規(guī)導入,并不適合 direct導入方式.
SQLLDR直接加載能否分批提交?
測過這樣的問題,不過沒做細致的分析
oracle也就是一個應用程序,與程序設計有關
sqlldr中的在直接裝載時rows所表述的是多少行save 一下data
文檔中也說了,這是一個大致的量,實際save多少與buffer所決定的bindsize有關
注意,這里說的是save data
save data只是類似于commit的效果
相同的地方時你在direct load的過程中出現(xiàn)了instance down等類似的狀況,save的數(shù)據(jù)會實際保存到庫中
不相同的部分大體有如下幾點:
1.直接裝載rows參數(shù)所表述的save data并沒有事務的概念,不經(jīng)過undo segment,因此無法回滾
2.direct是在hwm上的一個操作,成功了調整hwm,失敗則好似未發(fā)生過這樣的操作
3.direct load在裝載時未不維護索引
所以設置了rows參數(shù)在load過程表中看不到數(shù)據(jù)的原因可能如下:
1、如hwm有關,即操作完成及instance recover或pmon清理時才發(fā)生調整hwm的操作
2、與direct load是一個無事務的操作有關
3、rows所表述的是save data,即extent操作,與commit所表述的事務操作是不同的
更多文章、技術交流、商務合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
