SQL*LOADER
是
ORACLE
的數據加載工具,通常用來將操作系統文件遷移到
ORACLE
數據庫中。
SQL*LOADER
是大型數據
倉庫選擇使用的加載方法,因為它提供了最快速的途徑(
DIRECT
,
PARALLEL
)。現在,我們拋開其理論不談,用實例來使您快速掌握
SQL*LOADER
的使用方法。
??
? ?
? ?
首先,我們認識一下
SQL*LOADER
。
??
在 NT 下, SQL*LOADER 的命令為 SQLLDR ,在 UNIX 下一般為 sqlldr/sqlload 。 ??
如執行: d:\oracle>sqlldr ??
在 NT 下, SQL*LOADER 的命令為 SQLLDR ,在 UNIX 下一般為 sqlldr/sqlload 。 ??
如執行: d:\oracle>sqlldr ??
?
我們可以從中看到一些基本的幫助信息,這里,我用到的是中文的
WIN2000
ADV
SERVER
。
??
我們知道,
SQL*LOADER
只能導入純文本,所以我們現在開始以實例來講解其用法。
??
?? ??
?? ??
?
一、已存在數據源
result.csv
,欲倒入
ORACLE
中
FANCY
用戶下。
??
?? ?result.csv 內容: ??
? ?1, 默認 ?? Web??? 站點 ,192.168.2.254:80:,RUNNING??
? ??2,other,192.168.2.254:80:test.com,STOPPED??
? ??3,third,192.168.2.254:81:thirdabc.com,RUNNING??
? 從中,我們看出 4 列,分別以逗號分隔,為變長字符串。 ??
二、制定控制文件 result.ctl??
? result.ctl 內容: ??
? load?? data??
? infile?? ‘result.csv’??
? into?? table?? resultxt????
? (resultid?? char?? terminated?? by?? ‘,’,??
? website?? char?? terminated?? by?? ‘,’,??
? ipport?? char?? terminated?? by?? ‘,’,??
? status?? char?? terminated?? by?? whitespace)??
?? 說明: ??
??? ?infile 指數據源文件 這里我們省略了默認的 discardfile?? result.dsc?? badfile?? result.bad??
?? ? into?? table?? resultxt??? 默認是 INSERT ,也可以 into?? table?? resultxt?? APPEND 為追加方式,或 REPLACE??
?? ?terminated?? by?? ‘,’ 指用逗號分隔 ??
??? ?terminated?? by?? whitespace 結尾以空白分隔 ??
? 三、此時我們執行加載: ??
?? D:\>sqlldr?? userid=fancy/testpass?? control=result.ctl?? log=resulthis.out ??
? SQL*Loader:?? Release?? 8.1.6.0.0?? -?? Production?? on??? 星期二 ?? 1 月 ?? 8?? 10:25:42?? 2002??
? (c)?? Copyright?? 1999?? Oracle?? Corporation.?? All?? rights?? reserved.??
? SQL*Loader-941:??? 在描述表 RESULTXT 時出現錯誤 ??
? ORA-04043:??? 對象 ?? RESULTXT??? 不存在 ??
?? ??? 提示出錯,因為數據庫沒有對應的表。 ??
? 四、在數據庫建立表 ??
?? ?? create?? table?? resultxt??
? (resultid?? varchar2(500),??
? website?? varchar2(500),??
? ipport?? varchar2(500),??
? status?? varchar2(500)) ?;
?? ?result.csv 內容: ??
? ?1, 默認 ?? Web??? 站點 ,192.168.2.254:80:,RUNNING??
? ??2,other,192.168.2.254:80:test.com,STOPPED??
? ??3,third,192.168.2.254:81:thirdabc.com,RUNNING??
? 從中,我們看出 4 列,分別以逗號分隔,為變長字符串。 ??
二、制定控制文件 result.ctl??
? result.ctl 內容: ??
? load?? data??
? infile?? ‘result.csv’??
? into?? table?? resultxt????
? (resultid?? char?? terminated?? by?? ‘,’,??
? website?? char?? terminated?? by?? ‘,’,??
? ipport?? char?? terminated?? by?? ‘,’,??
? status?? char?? terminated?? by?? whitespace)??
?? 說明: ??
??? ?infile 指數據源文件 這里我們省略了默認的 discardfile?? result.dsc?? badfile?? result.bad??
?? ? into?? table?? resultxt??? 默認是 INSERT ,也可以 into?? table?? resultxt?? APPEND 為追加方式,或 REPLACE??
?? ?terminated?? by?? ‘,’ 指用逗號分隔 ??
??? ?terminated?? by?? whitespace 結尾以空白分隔 ??
? 三、此時我們執行加載: ??
?? D:\>sqlldr?? userid=fancy/testpass?? control=result.ctl?? log=resulthis.out ??
? SQL*Loader:?? Release?? 8.1.6.0.0?? -?? Production?? on??? 星期二 ?? 1 月 ?? 8?? 10:25:42?? 2002??
? (c)?? Copyright?? 1999?? Oracle?? Corporation.?? All?? rights?? reserved.??
? SQL*Loader-941:??? 在描述表 RESULTXT 時出現錯誤 ??
? ORA-04043:??? 對象 ?? RESULTXT??? 不存在 ??
?? ??? 提示出錯,因為數據庫沒有對應的表。 ??
? 四、在數據庫建立表 ??
?? ?? create?? table?? resultxt??
? (resultid?? varchar2(500),??
? website?? varchar2(500),??
? ipport?? varchar2(500),??
? status?? varchar2(500)) ?;
?
五、重新執行加載
??
? ? ? D:\>sqlldr?? userid=fancy/k1i7l6l8?? control=result.ctl?? log=resulthis.out??
? SQL*Loader:?? Release?? 8.1.6.0.0?? -?? Production?? on??? 星期二 ?? 1 月 ?? 8?? 10:31:57?? 2002??
? (c)?? Copyright?? 1999?? Oracle?? Corporation.?? All?? rights?? reserved.??
?? 達到提交點,邏輯記錄計數 2??
?? 達到提交點,邏輯記錄計數 3??
?? ??? 已經成功!我們可以通過日志文件來分析其過程: resulthis.out 內容如下: ??
? SQL*Loader:?? Release?? 8.1.6.0.0?? -?? Production?? on??? 星期二 ?? 1 月 ?? 8?? 10:31:57?? 2002??
? (c)?? Copyright?? 1999?? Oracle?? Corporation.?? All?? rights?? reserved.??
?? 控制文件 :?? result.ctl??
?? 數據文件 :?? result.csv??
?? 錯誤文件 :?? result.bad??
?? 廢棄文件 :??? 未作指定 ??
? :????
? ( 可廢棄所有記錄 )??
?? 裝載數 :?? ALL??
?? 跳過數 :?? 0??
?? 允許的錯誤 :?? 50??
?? 綁定數組 :?? 64??? 行,最大 ?? 65536??? 字節 ??
?? 繼續 :??? 未作指定 ??
?? 所用路徑 :??? 常規 ??
?? 表 RESULTXT??
?? 已載入從每個邏輯記錄 ??
?? 插入選項對此表 INSERT 生效 ??
?? 列名 ??? 位置 ??? 長度 ??? 中止 ??? 包裝數據類型 ??
? ——————————?? ———-?? —–?? —-?? —-?? ———————??
? RESULTID?? FIRST?? *?? ,?? CHARACTER????
? WEBSITE?? NEXT?? *?? ,?? CHARACTER????
? IPPORT?? NEXT?? *?? ,?? CHARACTER????
? STATUS?? NEXT?? *?? WHT?? CHARACTER????
?? 表 RESULTXT:????
? 3??? 行載入成功 ??
?? 由于數據錯誤 ,?? 0??? 行沒有載入。 ??
?? 由于所有 ?? WHEN??? 子句失敗 ,?? 0??? 行沒有載入。 ??
?? 由于所有字段都為空的 ,?? 0??? 行沒有載入。 ??
?? 為結合數組分配的空間 :?? 65016 字節( 63 行) ??
?? 除綁定數組外的內存空間分配 :?? 0 字節 ??
?? 跳過的邏輯記錄總數 :?? 0??
?? 讀取的邏輯記錄總數 :?? 3??
?? 拒絕的邏輯記錄總數 :?? 0??
?? 廢棄的邏輯記錄總數 :?? 0??
?? 從星期二 ?? 1 月 ?? 08?? 10:31:57?? 2002 開始運行 ??
?? 在星期二 ?? 1 月 ?? 08?? 10:32:00?? 2002 處運行結束 ??
?? 經過時間為 :?? 00:?? 00:?? 02.70??
? CPU??? 時間為 :?? 00:?? 00:?? 00.10( 可 ??
?? 六、并發操作 ???
? sqlldr?? userid=/?? control=result1.ctl?? direct=true?? parallel=true??
? sqlldr?? userid=/?? control=result2.ctl?? direct=true?? parallel=true??
? sqlldr?? userid=/?? control=result2.ctl?? direct=true?? parallel=true ??
?? 當加載大量數據時(大約超過 10GB ),最好抑制日志的產生: ??
?? ??? SQL>ALTER?? TABLE?? RESULTXT?? nologging; ??
?? 這樣不產生 REDO LOG ,可以提高效率。然后在 CONTROL 文件中 load?? data 上面加一行: unrecoverable????? 此選項必須要與 DIRECT 共同應用。 ??
?? 在并發操作時, ORACLE 聲稱可以達到每小時處理 100GB 數據的能力!其實,估計能到 1 - 10G 就算不錯了,開始可用結構 ? 相同的文件,但只有少量數據,成功后開始加載大量數據,這樣可以避免時間的浪費。 ???
?? 有關 SQLLDR 的問題 ????
??
? ? ? D:\>sqlldr?? userid=fancy/k1i7l6l8?? control=result.ctl?? log=resulthis.out??
? SQL*Loader:?? Release?? 8.1.6.0.0?? -?? Production?? on??? 星期二 ?? 1 月 ?? 8?? 10:31:57?? 2002??
? (c)?? Copyright?? 1999?? Oracle?? Corporation.?? All?? rights?? reserved.??
?? 達到提交點,邏輯記錄計數 2??
?? 達到提交點,邏輯記錄計數 3??
?? ??? 已經成功!我們可以通過日志文件來分析其過程: resulthis.out 內容如下: ??
? SQL*Loader:?? Release?? 8.1.6.0.0?? -?? Production?? on??? 星期二 ?? 1 月 ?? 8?? 10:31:57?? 2002??
? (c)?? Copyright?? 1999?? Oracle?? Corporation.?? All?? rights?? reserved.??
?? 控制文件 :?? result.ctl??
?? 數據文件 :?? result.csv??
?? 錯誤文件 :?? result.bad??
?? 廢棄文件 :??? 未作指定 ??
? :????
? ( 可廢棄所有記錄 )??
?? 裝載數 :?? ALL??
?? 跳過數 :?? 0??
?? 允許的錯誤 :?? 50??
?? 綁定數組 :?? 64??? 行,最大 ?? 65536??? 字節 ??
?? 繼續 :??? 未作指定 ??
?? 所用路徑 :??? 常規 ??
?? 表 RESULTXT??
?? 已載入從每個邏輯記錄 ??
?? 插入選項對此表 INSERT 生效 ??
?? 列名 ??? 位置 ??? 長度 ??? 中止 ??? 包裝數據類型 ??
? ——————————?? ———-?? —–?? —-?? —-?? ———————??
? RESULTID?? FIRST?? *?? ,?? CHARACTER????
? WEBSITE?? NEXT?? *?? ,?? CHARACTER????
? IPPORT?? NEXT?? *?? ,?? CHARACTER????
? STATUS?? NEXT?? *?? WHT?? CHARACTER????
?? 表 RESULTXT:????
? 3??? 行載入成功 ??
?? 由于數據錯誤 ,?? 0??? 行沒有載入。 ??
?? 由于所有 ?? WHEN??? 子句失敗 ,?? 0??? 行沒有載入。 ??
?? 由于所有字段都為空的 ,?? 0??? 行沒有載入。 ??
?? 為結合數組分配的空間 :?? 65016 字節( 63 行) ??
?? 除綁定數組外的內存空間分配 :?? 0 字節 ??
?? 跳過的邏輯記錄總數 :?? 0??
?? 讀取的邏輯記錄總數 :?? 3??
?? 拒絕的邏輯記錄總數 :?? 0??
?? 廢棄的邏輯記錄總數 :?? 0??
?? 從星期二 ?? 1 月 ?? 08?? 10:31:57?? 2002 開始運行 ??
?? 在星期二 ?? 1 月 ?? 08?? 10:32:00?? 2002 處運行結束 ??
?? 經過時間為 :?? 00:?? 00:?? 02.70??
? CPU??? 時間為 :?? 00:?? 00:?? 00.10( 可 ??
?? 六、并發操作 ???
? sqlldr?? userid=/?? control=result1.ctl?? direct=true?? parallel=true??
? sqlldr?? userid=/?? control=result2.ctl?? direct=true?? parallel=true??
? sqlldr?? userid=/?? control=result2.ctl?? direct=true?? parallel=true ??
?? 當加載大量數據時(大約超過 10GB ),最好抑制日志的產生: ??
?? ??? SQL>ALTER?? TABLE?? RESULTXT?? nologging; ??
?? 這樣不產生 REDO LOG ,可以提高效率。然后在 CONTROL 文件中 load?? data 上面加一行: unrecoverable????? 此選項必須要與 DIRECT 共同應用。 ??
?? 在并發操作時, ORACLE 聲稱可以達到每小時處理 100GB 數據的能力!其實,估計能到 1 - 10G 就算不錯了,開始可用結構 ? 相同的文件,但只有少量數據,成功后開始加載大量數據,這樣可以避免時間的浪費。 ???
?? 有關 SQLLDR 的問題 ????
??
控制文件:
input.ctl
,內容如下:
????
? load?? data ?? –1 、控制文件標識 ????
? infile?? ‘test.txt’ ?? –2 、要輸入的數據文件名為 test.txt????
? append?? into?? table?? test –3 、向表 test 中追加記錄 ????
? fields?? terminated?? by?? X’09′ –4 、字段終止于 X’09′ ,是一個制表符( TAB ) ????
?(id,username,password,sj) ?? —– 定義列對應順序 ????
???
? 其中 append 為數據裝載方式,還有其他選項: ????
? a 、 insert ,為缺省方式,在數據裝載開始時要求表為空 ????
? b 、 append ,在表中追加新記錄 ????
? c 、 replace ,刪除舊記錄,替換成新裝載的記錄 ????
? d 、 truncate ,同上
? load?? data ?? –1 、控制文件標識 ????
? infile?? ‘test.txt’ ?? –2 、要輸入的數據文件名為 test.txt????
? append?? into?? table?? test –3 、向表 test 中追加記錄 ????
? fields?? terminated?? by?? X’09′ –4 、字段終止于 X’09′ ,是一個制表符( TAB ) ????
?(id,username,password,sj) ?? —– 定義列對應順序 ????
???
? 其中 append 為數據裝載方式,還有其他選項: ????
? a 、 insert ,為缺省方式,在數據裝載開始時要求表為空 ????
? b 、 append ,在表中追加新記錄 ????
? c 、 replace ,刪除舊記錄,替換成新裝載的記錄 ????
? d 、 truncate ,同上
參考文章:
http://www.blogjava.net/Unmi/archive/2009/01/05/249956.html
?看了它,應該問題都能解決了
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
