1，
E:\>sqlldr system/dhj123@danghj control=input.ctl log=dhj

SQL*Loader: Release 10.2.0.1.0 - Production on 星期一 6月 1 11:38:10 2009

Copyright (c) 1982, 2005, Oracle. All rights reserved.

SQL*Loader-292: 加載 XML, LOB 或 VARRAY 列時忽略 ROWS 參數(shù)
SQL*Loader-951: 調(diào)用一次/加載初始化錯誤
ORA-00942: 表或視圖不存在
上面的錯誤 如果將direct=true 取消，就不存在了。


導(dǎo)致上面錯誤的原因是 client版本不一致。我就是數(shù)據(jù)庫是9i,client是10g,于是產(chǎn)生錯誤
2，
含序列,不能設(shè)direct=true。
3，
direct=true 錯誤處理方法 ：

E:\>sqlldr system/dhj123@danghj control=input.ctl log=dhj

SQL*Loader: Release 9.2.0.1.0 - Production on 星期一 6月 1 13:39:17 2009

Copyright (c) 1982, 2002, Oracle Corporation. All rights reserved.

SQL*Loader-926: OCI 錯誤出現(xiàn)在uldlfca:OCIDirPathDataSave 1用于表 ACTION_C
ORA-26090: 行處于不完整狀態(tài)
SQL*Loader-2026: 由于無法繼續(xù), 加載已中止。

這種錯誤是 數(shù)據(jù)格式的問題，處在clob上。如果沒有其他的錯誤 則在于參數(shù)rows上，它是一次性讀入的數(shù)據(jù)。在這個例子中，rows 設(shè)置為50萬，如果數(shù)據(jù)行數(shù)大于50萬則會報錯，需要調(diào)整rows的大小。rows不指定也可以的。切記啊。

OPTIONS(direct=true,ERRORS=50,skip=0,ROWS=500000, readsize=20971520, bindsize=20971520)
Load data
infile?? 'test.txt' "str'****@@@@'"
truncate
into?? table?? action_c??
fields terminated by '@#$' 　optionally enclosed by '%%%%%'
(ACTION_ID,
Time DATE 'YYYY-MM-DD HH24:MI:SS',
TBSN,
CSN,
SYSTEM,
BLOCK,
UPID,
AGENT,
OFFICE,
UGR,
TXNID,
PID,
STEP DATE 'YYYY-MM-DD HH24:MI:SS',
IDNBR,
HOST,
FUNC,
ULVL,
CUST,
Input,
LINENUM,
ISCLOB,
THECLOB CHAR(50000000)
)

關(guān)于 Oracle 的數(shù)據(jù)導(dǎo)入導(dǎo)出及 Sql Loader (sqlldr) 的用法

在 Oracle 數(shù)據(jù)庫中，我們通常在不同數(shù)據(jù)庫的表間記錄進行復(fù)制或遷移時會用以下幾種方法：

1. A 表的記錄導(dǎo)出為一條條分號隔開的 insert 語句，然后執(zhí)行插入到 B 表中
2. 建立數(shù)據(jù)庫間的 dblink，然后用 create table B as select * from where ...，或 insert into B select * from where ...
3. exp A 表，再 imp 到 B 表，exp 時可加查詢條件
4. 程序?qū)崿F(xiàn) select from A ..，然后 insert into B ...，也要分批提交
5. 再就是本篇要說到的 Sql Loader(sqlldr) 來導(dǎo)入數(shù)據(jù)，效果比起逐條 insert 來很明顯

第 1 種方法在記錄多時是個噩夢，需三五百條的分批提交，否則客戶端會死掉，而且導(dǎo)入過程很慢。如果要不產(chǎn)生 REDO 來提高 insert into 的性能，就要下面那樣做：

1. alter table B nologging;??
2. insert /* +APPEND */ into B(c1,c2) values(x,xx);??
3. insert /* +APPEND */ into B select * from A@dblink where .....;??

alter table B nologging; insert /* +APPEND */ into B(c1,c2) values(x,xx); insert /* +APPEND */ into B select * from A@dblink where .....;
好啦，前面簡述了 Oracle 中數(shù)據(jù)導(dǎo)入導(dǎo)出的各種方法，我想一定還有更高明的。下面重點講講 Oracle 的 Sql Loader (sqlldr) 的用法。

在命令行下執(zhí)行 Oracle?? 的 sqlldr 命令，可以看到它的詳細參數(shù)說明，要著重關(guān)注以下幾個參數(shù)：

userid -- Oracle 的 username/password[@servicename]
control -- 控制文件，可能包含表的數(shù)據(jù)
-------------------------------------------------------------------------------------------------------
log -- 記錄導(dǎo)入時的日志文件，默認為 控制文件(去除擴展名).log
bad -- 壞數(shù)據(jù)文件，默認為 控制文件(去除擴展名).bad
data -- 數(shù)據(jù)文件，一般在控制文件中指定。用參數(shù)控制文件中不指定數(shù)據(jù)文件更適于自動操作
errors -- 允許的錯誤記錄數(shù)，可以用他來控制一條記錄都不能錯
rows -- 多少條記錄提交一次，默認為 64
skip -- 跳過的行數(shù)，比如導(dǎo)出的數(shù)據(jù)文件前面幾行是表頭或其他描述

還有更多的 sqlldr 的參數(shù)說明請參考： sql loader的用法 。

用例子來演示 sqlldr 的使用，有兩種使用方法：

1. 只使用一個控制文件，在這個控制文件中包含數(shù)據(jù)
2. 使用一個控制文件(作為模板) 和一個數(shù)據(jù)文件

一般為了利于模板和數(shù)據(jù)的分離，以及程序的不同分工會使用第二種方式，所以先來看這種用法。數(shù)據(jù)文件可以是 CSV 文件或者以其他分割符分隔的，數(shù)據(jù)文件可以用 PL/SQL Developer 或者 Toad 導(dǎo)出，也可以 用 SQL *Plus 的 spool 格式化產(chǎn)出，或是 UTL_FILE 包生成 。另外，用 Toad 還能直接生成包含數(shù)據(jù)的控制文件。

首先，假定有這么一個表 users，并插入五條記錄：

1. create table users(??
2. ???? user_id number,???????????--用戶 ID??
3. ???? user_name varchar2(50),???--用戶名??
4. ???? login_times number,???????--登陸次數(shù)??
5. ???? last_login date???????????--最后登錄日期??
6. )??

create table users( user_id number, --用戶 ID user_name varchar2(50), --用戶名 login_times number, --登陸次數(shù) last_login date --最后登錄日期 )

1. insert into users values(1,'Unmi',3,sysdate);??
2. insert into users values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD'));??
3. insert into users values(3,'隔葉黃鶯',8,to_date('2009-01-02','YYYY-MM-DD'));??
4. insert into users values(4,'Kypfos',NULL,NULL);??
5. insert into users values(5,'不知秋',1,to_date('2008-12-23','YYYY-MM-DD'));??

insert into users values(1,'Unmi',3,sysdate); insert into users values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD')); insert into users values(3,'隔葉黃鶯',8,to_date('2009-01-02','YYYY-MM-DD')); insert into users values(4,'Kypfos',NULL,NULL); insert into users values(5,'不知秋',1,to_date('2008-12-23','YYYY-MM-DD'));
第二種方式： 使用一個控制文件(作為模板) 和一個數(shù)據(jù)文件

1) 建立數(shù)據(jù)文件，我們這里用 PL/SQL Developer 導(dǎo)出表 users 的記錄為 users_data.csv 文件，內(nèi)容如下：

1. "??? ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"??
2. "1","1","Unmi","3","2009-1-5 20:34:44"??
3. "2","2","","5","2008-10-15"??
4. "3","3","隔葉黃鶯","8","2009-1-2"??
5. "4","4","Kypfos","",""??
6. "5","5","不知秋","1","2008-12-23"??

" ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN" "1","1","Unmi","3","2009-1-5 20:34:44" "2","2","","5","2008-10-15" "3","3","隔葉黃鶯","8","2009-1-2" "4","4","Kypfos","","" "5","5","不知秋","1","2008-12-23"
2) 建立一個控制文件 users.ctl，內(nèi)容如下：

1. OPTIONS (skip=1,rows=128) -- sqlldr 命令顯示的選項可以寫到這里邊來,skip=1 用來跳過數(shù)據(jù)中的第一行??
2. LOAD DATA??
3. INFILE "users_data.csv" --指定外部數(shù)據(jù)文件，可以寫多個 INFILE "another_data_file.csv" 指定多個數(shù)據(jù)文件??
4. --這里還可以使用 BADFILE、DISCARDFILE 來指定壞數(shù)據(jù)和丟棄數(shù)據(jù)的文件，??
5. truncate --操作類型，用 truncate table 來清除表中原有記錄??
6. INTO TABLE users -- 要插入記錄的表??
7. Fields terminated by "," -- 數(shù)據(jù)中每行記錄用 "," 分隔??
8. Optionally enclosed by '"' -- 數(shù)據(jù)中每個字段用 '"' 框起，比如字段中有 "," 分隔符時??
9. trailing nullcols --表的字段沒有對應(yīng)的值時允許為空??
10. (??
11. ?? virtual_column FILLER, --這是一個虛擬字段，用來跳過由 PL/SQL Developer 生成的第一列序號??
12. ?? user_id number, --字段可以指定類型，否則認為是 CHARACTER 類型, log 文件中有顯示??
13. ?? user_name,??
14. ?? login_times,??
15. ?? last_login DATE "YYYY-MM-DD HH24:MI:SS" -- 指定接受日期的格式，相當用 to_date() 函數(shù)轉(zhuǎn)換??
16. )??

OPTIONS (skip=1,rows=128) -- sqlldr 命令顯示的選項可以寫到這里邊來,skip=1 用來跳過數(shù)據(jù)中的第一行 LOAD DATA INFILE "users_data.csv" --指定外部數(shù)據(jù)文件，可以寫多個 INFILE "another_data_file.csv" 指定多個數(shù)據(jù)文件 --這里還可以使用 BADFILE、DISCARDFILE 來指定壞數(shù)據(jù)和丟棄數(shù)據(jù)的文件， truncate --操作類型，用 truncate table 來清除表中原有記錄 INTO TABLE users -- 要插入記錄的表 Fields terminated by "," -- 數(shù)據(jù)中每行記錄用 "," 分隔 Optionally enclosed by '"' -- 數(shù)據(jù)中每個字段用 '"' 框起，比如字段中有 "," 分隔符時 trailing nullcols --表的字段沒有對應(yīng)的值時允許為空 ( virtual_column FILLER, --這是一個虛擬字段，用來跳過由 PL/SQL Developer 生成的第一列序號 user_id number, --字段可以指定類型，否則認為是 CHARACTER 類型, log 文件中有顯示 user_name, login_times, last_login DATE "YYYY-MM-DD HH24:MI:SS" -- 指定接受日期的格式，相當用 to_date() 函數(shù)轉(zhuǎn)換 )
說明：在操作類型 truncate 位置可用以下中的一值：

1) insert???? --為缺省方式，在數(shù)據(jù)裝載開始時要求表為空
2) append --在表中追加新記錄
3) replace --刪除舊記錄(用 delete from table 語句)，替換成新裝載的記錄
4) truncate --刪除舊記錄(用 truncate table 語句)，替換成新裝載的記錄

3) 執(zhí)行命令：

sqlldr control=users.ctl

在 dbservice 指示的數(shù)據(jù)庫的表 users 中記錄就和數(shù)據(jù)文件中的一樣了。

執(zhí) 行完 sqlldr 后希望能留意一下生成的幾個文件，如 users.log 日志文件、users.bad 壞數(shù)據(jù)文件等。特別是要看看日志文件，從中可讓你更好的理解 Sql Loader，里面有對控制文件的解析、列出每個字段的類型、加載記錄的統(tǒng)計、出錯原因等信息。

第一種方式，只使用一個控制文件在這個控制文件中包含數(shù)據(jù)

1) 把 users_data.cvs 中的內(nèi)容補到 users.ctl 中，并以 BEGINDATA 連接，還要把 INFILE "users_data.csv" 改為 INFILE *。同時為了更大化的說明問題，把數(shù)據(jù)處理了一下。此時，完整的 users.ctl 文件內(nèi)容是：

1. OPTIONS (skip=1,rows=128) -- sqlldr 命令顯示的選項可以寫到這里邊來,skip=1 用來跳過數(shù)據(jù)中的第一行??
2. LOAD DATA??
3. INFILE *??-- 因為數(shù)據(jù)同控制文件在一起，所以用 * 表示??
4. append????-- 這里用了 append 來操作，在表 users 中附加記錄 ??
5. INTO TABLE users??
6. when LOGIN_TIMES<>'8'??-- 還可以用 when 子句選擇導(dǎo)入符合條件的記錄??
7. Fields terminated by ","??
8. trailing nullcols??
9. (??
10. ?? virtual_column FILLER, --跳過由 PL/SQL Developer 生成的第一列序號??
11. ?? user_id "user_seq.nextval", --這一列直接取序列的下一值，而不用數(shù)據(jù)中提供的值??
12. ?? user_name "'Hi '||upper(:user_name)",--,還能用SQL函數(shù)或運算對數(shù)據(jù)進行加工處理??
13. ?? login_times terminated by ",", NULLIF(login_times='NULL') --可為列單獨指定分隔符??
14. ?? last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") -- 當字段為"NULL"時就是 NULL??
15. )??
16. BEGINDATA --數(shù)據(jù)從這里開始??
17. ??? ,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN??
18. 1,1,Unmi,3,2009-1-5 20:34??
19. 2,2,Fantasia,5,2008-10-15??
20. 3,3,隔葉黃鶯,8,2009-1-2??
21. 4,4,Kypfos,NULL,NULL??
22. 5,5,不知秋,1,2008-12-23??

OPTIONS (skip=1,rows=128) -- sqlldr 命令顯示的選項可以寫到這里邊來,skip=1 用來跳過數(shù)據(jù)中的第一行 LOAD DATA INFILE * -- 因為數(shù)據(jù)同控制文件在一起，所以用 * 表示 append -- 這里用了 append 來操作，在表 users 中附加記錄 INTO TABLE users when LOGIN_TIMES<>'8' -- 還可以用 when 子句選擇導(dǎo)入符合條件的記錄 Fields terminated by "," trailing nullcols ( virtual_column FILLER, --跳過由 PL/SQL Developer 生成的第一列序號 user_id "user_seq.nextval", --這一列直接取序列的下一值，而不用數(shù)據(jù)中提供的值 user_name "'Hi '||upper(:user_name)",--,還能用SQL函數(shù)或運算對數(shù)據(jù)進行加工處理 login_times terminated by ",", NULLIF(login_times='NULL') --可為列單獨指定分隔符 last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") -- 當字段為"NULL"時就是 NULL ) BEGINDATA --數(shù)據(jù)從這里開始 ,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN 1,1,Unmi,3,2009-1-5 20:34 2,2,Fantasia,5,2008-10-15 3,3,隔葉黃鶯,8,2009-1-2 4,4,Kypfos,NULL,NULL 5,5,不知秋,1,2008-12-23
2) 執(zhí)行一樣的命令：

sqlldr control=users.ctl

比如，在控制臺會顯示這樣的信息：

C:\>sqlldr control=users.ctl

SQL*Loader: Release 9.2.0.1.0 - Production on 星期三 1月 7 22:26:25 2009

Copyright (c) 1982, 2002, Oracle Corporation. All rights reserved.

達到提交點，邏輯記錄計數(shù)4
達到提交點，邏輯記錄計數(shù)5

上面的控制文件包含的內(nèi)容比較復(fù)雜(演示目的)，請根據(jù)注釋理解每個參數(shù)的意義。還能由此發(fā)掘更多用法。

最后說下有關(guān) SQL *Loader 的性能與并發(fā)操作

1) ROWS 的默認值為 64，你可以根據(jù)實際指定更合適的 ROWS 參數(shù)來指定每次提交記錄數(shù)。(體驗過在 PL/SQL Developer 中一次執(zhí)行幾條條以上的 insert 語句的情形嗎？)

2） 常規(guī)導(dǎo)入可以通過使用 INSERT語句來導(dǎo)入數(shù)據(jù)。Direct導(dǎo)入可以跳過數(shù)據(jù)庫的相關(guān)邏輯(DIRECT=TRUE)，而直接將數(shù)據(jù)導(dǎo)入到數(shù)據(jù)文件中，可以提高導(dǎo)入數(shù)據(jù)的 性能。當然，在很多情況下，不能使用此參數(shù)(如果主鍵重復(fù)的話會使索引的狀態(tài)變成UNUSABLE!)。

3) 通過指定 UNRECOVERABLE選項，可以關(guān)閉數(shù)據(jù)庫的日志(是否要 alter table table1 nologging 呢?)。這個選項只能和 direct 一起使用。

4) 對于超大數(shù)據(jù)文件的導(dǎo)入就要用并發(fā)操作了，即同時運行多個導(dǎo)入任務(wù).

sqlldr?? userid=/?? control=result1.ctl?? direct=true?? parallel=true??
sqlldr?? userid=/?? control=result2.ctl?? direct=true?? parallel=true??
sqlldr?? userid=/?? control=result2.ctl?? direct=true?? parallel=true??

當加載大量數(shù)據(jù)時（大約超過10GB），最好抑制日志的產(chǎn)生：??

SQL>ALTER?? TABLE?? RESULTXT?? nologging;

這樣不產(chǎn)生REDO LOG，可以提高效率。然后在 CONTROL 文件中 load data 上面加一行：unrecoverable， 此選項必須要與DIRECT共同應(yīng)用。??

在并發(fā)操作時，ORACLE聲稱可以達到每小時處理100GB數(shù)據(jù)的能力！其實，估計能到 1－10G 就算不錯了，開始可用結(jié)構(gòu) 相同的文件，但只有少量數(shù)據(jù)，成功后開始加載大量數(shù)據(jù)，這樣可以避免時間的浪費。


參考：1. Oracle SQL*Loader -- 英文，Sql Loader 的官方使用說明，包含多種類型的 Demo
??????? 2. sql loader的用法 -- 列出了 sql loader 的選擇參數(shù)的中文說明
??????? 3. 使用SQL Loader導(dǎo)入大量數(shù)據(jù)，避免使用SQL頻繁寫庫 -- 一個簡單的例子，快帶了解 Sql Loader 的用法
??????? 4. Oracle SQL Loader的詳細語法
??????? 5. oracle sql loader全攻略 -- 還算名符其實。并講了如何用 SQL *Plus 的 spool 或 UTL_FILE 包生成數(shù)據(jù)文件
??????? 6. SQL*Loader Control File Reference ?? -- 英文，控制文件使用參考
??????? 7. 學(xué)習oracle sql loader 的使用
??????? 8. 用sqlloader(sqlldr)裝載LOB數(shù)據(jù) -- LOB 的內(nèi)類是一個外部文件，用 sql loader 導(dǎo)入到數(shù)據(jù)庫
??????? 9. SQLLDR直接加載幾個參數(shù)的測試
??????? 10. Maximizing SQL*Loader Performance

direct=true 錯誤處理方法 （關(guān)于 Oracle 的數(shù)據(jù)導(dǎo)入導(dǎo)出及 Sql Loader (sqlldr) 的用法