?
最近郁悶的字符集2014年7月31日16:32:58
?
本文主要討論以下幾個部分：如何查看查詢oracle字符集、 修改設置字符集以及常見的oracle utf8字符集和oracle exp 字符集問題。
一、什么是Oracle字符集
?????? Oracle字符集是一個字節(jié)數據的解釋的符號集合,有大小之分,有相互的包容關系。ORACLE 支持國家語言的體系結構允許你使用本地化語言來存儲，處理，檢索數據。它使 數據庫 工具，錯誤消息，排序次序，日期，時間，貨幣，數字，和日歷自動適應本地化語言和平臺。
?
影響 Oracle 數據庫字符集最重要的參數是NLS_LANG參數。
它的格式如下: NLS_LANG = language_territory.charset
它有三個組成部分(語言、地域和字符集)，每個成分控制了NLS子集的特性。
其中:
Language： 指定服務器消息的語言， 影響提示信息是中文還是英文
Territory： 指定服務器的日期和數字格式，
Charset：? 指定字符集。
如:AMERICAN _ AMERICA. ZHS16GBK
從NLS_LANG的組成我們可以看出，真正影響數據庫字符集的其實是第三部分。
所以兩個數據庫之間的字符集只要第三部分一樣就可以相互導入導出數據，前面影響的只是提示信息是中文還是英文。
怎么查看數據庫版本
select * from v$version 包含版本信息，核心版本信息，位數信息(32位或64位)等 至于位數信息，在Linux/unix平臺上，可以通過file查看，如file $ORACLE_HOME/bin/oracle
?
二、. 查看數據庫字符集
數據庫服務器字符集select * from nls_database_parameters，其來源于props$，是表示數據庫的字符集。
客戶端字符集環(huán)境select * from nls_instance_parameters,其來源于v$parameter，
表示客戶端的字符集的設置，可能是參數文件，環(huán)境變量或者是注冊表
會話字符集環(huán)境select * from nls_session_parameters，其來源于v$nls_parameters，表示會話自己的設置，可能是會話的環(huán)境變量或者是alter session完成，如果會話沒有特殊的設置，將與nls_instance_parameters一致。
客戶端的字符集要求與服務器一致，才能正確顯示數據庫的非Ascii字符。如果多個設置存在的時候，alter session>環(huán)境變量>注冊表>參數文件
字符集要求一致，但是語言設置卻可以不同，語言設置建議用英文。如字符集是zhs16gbk，則nls_lang可以是American_America.zhs16gbk。
?
涉及三方面的字符集，
1. oracel server端的字符集;
2. oracle client端的字符集;
3. dmp文件的字符集。
?
在做數據導入的時候，需要這三個字符集都一致才能正確導入。
?
2.1 查詢oracle server端的字符集
有很多種方法可以查出oracle server端的字符集，比較直觀的查詢方法是以下這種:
SQL> select userenv('language') from dual;
USERENV('LANGUAGE')
----------------------------------------------------
SIMPLIFIED CHINESE_CHINA.ZHS16GBK
?
SQL>select userenv(‘language’) from dual;
AMERICAN _ AMERICA. ZHS16GBK
?
2.2 如何查詢dmp文件的字符集
用oracle的exp工具導出的dmp文件也包含了字符集信息，dmp文件的第2和第3個字節(jié)記錄了dmp文件的字符集。如果dmp文件不大，比如只有幾M或幾十M，可以用UltraEdit打開(16進制方式)，看第2第3個字節(jié)的內容，如0354，然后用以下SQL查出它對應的字符集:
SQL> select nls_charset_name(to_number('0354','xxxx')) from dual;
ZHS16GBK
?
如果dmp文件很大，比如有2G以上(這也是最常見的情況)，用文本編輯器打開很慢或者完全打不開，可以用以下命令(在unix主機上):
cat exp.dmp |od -x|head -1|awk '{print $2 $3}'|cut -c 3-6
然后用上述SQL也可以得到它對應的字符集。
?
2.3 查詢oracle client端的字符集
在windows平臺下，就是注冊表里面相應OracleHome的NLS_LANG。還可以在dos窗口里面自己設置，
比如: set nls_lang=AMERICAN_AMERICA.ZHS16GBK
這樣就只影響這個窗口里面的環(huán)境變量。
?
在unix平臺下，就是環(huán)境變量NLS_LANG。
$echo $NLS_LANG
AMERICAN_AMERICA.ZHS16GBK
?
如果檢查的結果發(fā)現server端與client端字符集不一致，請統(tǒng)一修改為同server端相同的字符集。
?
補充：
(1).數據庫服務器字符集
select * from nls_database_parameters
來源于props$，是表示數據庫的字符集。
?
(2).客戶端字符集環(huán)境
select * from nls_instance_parameters
其來源于v$parameter，表示客戶端的字符集的設置，可能是參數文件，環(huán)境變量或者是注冊表
?
(3).會話字符集環(huán)境
select * from nls_session_parameters
來源于v$nls_parameters，表示會話自己的設置，可能是會話的環(huán)境變量或者是alter session完成，如果會話沒有特殊的設置，將與nls_instance_parameters一致。
?
(4).客戶端的字符集要求與服務器一致，才能正確顯示數據庫的非Ascii字符。
如果多個設置存在的時候，NLS作用優(yōu)先級別：Sql function > alter session > 環(huán)境變量或注冊表> 參數文件> 數據庫默認參數
?
字符集要求一致，但是語言設置卻可以不同，語言設置建議用英文。如字符集是zhs16gbk，則nls_lang可以是American_America.zhs16gbk。
?
?
三． 修改oracle的字符集
8i以上版本可以通過alter database來修改字符集，但也只限于子集到超集，不建議修改props$表，將可能導致嚴重錯誤。
Startup nomount;
Alter database mount exclusive;
Alter system enable restricted session;
Alter system set job_queue_process=0;
Alter database open;
Alter database character set zhs16gbk;
按照上文所說，數據庫字符集在創(chuàng)建后原則上不能更改。因此，在設計和安裝之初考慮使用哪一種字符集十分重要。對數據庫server而言，錯誤的修改字符集將會導致很多不可測的后果，可能會嚴重影響數據庫的正常運行，所以在修改之前一定要確認兩種字符集是否存在子集和超集的關系。一般來說，除非萬不得已，我們不建議修改oracle數據庫server端的字符集。特別說明，我們最常用的兩種字符集ZHS16GBK和ZHS16CGB231280之間不存在子集和超集關系，因此理論上講這兩種字符集之間的相互轉換不受支持。
?
不過修改字符集有2種方法可行。
1. 通常需要導出數據庫數據，重建數據庫，再導入數據庫數據的方式來轉換。
2. 通過ALTER DATABASE CHARACTER SET語句修改字符集，但創(chuàng)建數據庫后修改字符集是有限制的，只有新的字符集是當前字符集的超集時才能修改數據庫字符集，例如UTF8是US7ASCII的超集，修改數據庫字符集可使用ALTER DATABASE CHARACTER SET UTF8。
?
?
3.1 修改server端字符集(不建議使用)
?
1.?????? 關閉數據庫
SQL>SHUTDOWN IMMEDIATE
?
2. 啟動到Mount
SQL>STARTUP MOUNT;
SQL>ALTER SYSTEM ENABLE RESTRICTED SESSION;
SQL>ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0;
SQL>ALTER SYSTEM SET AQ_TM_PROCESSES=0;
SQL>ALTER DATABASE OPEN;
--這里可以從父集到子集
SQL>ALTER DATABASE CHARACTER SET ZHS16GBK;
SQL>ALTER DATABASE NATIONAL CHARACTER SET AL16UTF16;
--如果是從子集到父集，需要使用INTERNAL_USE 參數，跳過超子集檢測
SQL>ALTER DATABASE CHARACTER SET INTERNAL_USE AL32UTF8;
SQL>ALTER DATABASE NATIONAL CHARACTER SET INTERNAL_USE AL16UTF16;
?
SQL>SHUTDOWN IMMEDIATE;
SQL>STARTUP
注意：如果沒有大對象，在使用過程中進行語言轉換沒有什么影響，（切記設定的字符集必須是ORACLE支持，不然不能start） 按上面的做法就可以。
?
若出現‘ORA-12717: Cannot ALTER DATABASE NATIONAL CHARACTER SET when NCLOB data exists’ 這樣的提示信息，
要解決這個問題有兩種方法
1. 利用INTERNAL_USE 關鍵字修改區(qū)域設置,
2. 利用re-create,但是re-create有點復雜,所以請用internal_use
?
SQL>SHUTDOWN IMMEDIATE;
SQL>STARTUP MOUNT EXCLUSIVE;
SQL>ALTER SYSTEM ENABLE RESTRICTED SESSION;
SQL>ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0;
SQL>ALTER SYSTEM SET AQ_TM_PROCESSES=0;
SQL>ALTER DATABASE OPEN;
SQL>ALTER DATABASE NATIONAL CHARACTER SET INTERNAL_USE UTF8;
SQL>SHUTDOWN immediate;
SQL>startup;
如果按上面的做法做,National charset的區(qū)域設置就沒有問題
?
3.2 修改dmp文件字符集
上文說過，dmp文件的第2第3字節(jié)記錄了字符集信息，因此直接修改dmp文件的第2第3字節(jié)的內容就可以‘騙’過oracle的檢查。這樣做理論上也僅是從子集到超集可以修改，但很多情況下在沒有子集和超集關系的情況下也可以修改，我們常用的一些字符集，如US7ASCII，WE8ISO8859P1，ZHS16CGB231280，ZHS16GBK基本都可以改。因為改的只是dmp文件，所以影響不大。
?
具體的修改方法比較多，最簡單的就是直接用UltraEdit修改dmp文件的第2和第3個字節(jié)。
比如想將dmp文件的字符集改為ZHS16GBK，可以用以下SQL查出該種字符集對應的16進制代碼: SQL> select to_char(nls_charset_id('ZHS16GBK'), 'xxxx') from dual;
0354
然后將dmp文件的2、3字節(jié)修改為0354即可。
如果dmp文件很大，用ue無法打開，就需要用程序的方法了。
?
3.3客戶端字符集設置方法
???? 1)UNIX環(huán)境
???????? $NLS_LANG=“simplified chinese”_china.zhs16gbk
?????? ??$export NLS_LANG
???????? 編輯oracle用戶的profile文件
??? 2)Windows環(huán)境
???????? 編輯注冊表
???????? Regedit.exe ---》HKEY_LOCAL_MACHINE ---》SOFTWARE ---》ORACLE-HOME
? 或者在窗口設置：
??????? set nls_lang=AMERICAN_AMERICA.ZHS16GBK
四．字符集的相關知識：
4.1 字符集
??? 實質就是按照一定的字符編碼方案，對一組特定的符號，分別賦予不同數值編碼的集合。Oracle數據庫最早支持的編碼方案是US7ASCII。
??? Oracle的字符集命名遵循以下命名規(guī)則:
??? <Language><bit size><encoding>
??? 即: <語言><比特位數><編碼>
??? 比如: ZHS16GBK表示采用GBK編碼格式、16位（兩個字節(jié)）簡體中文字符集
?
4.2 字符編碼方案
?
4.2.1 單字節(jié)編碼
??? （1）單字節(jié)7位字符集，可以定義128個字符，最常用的字符集為US7ASCII
??? （2）單字節(jié)8位字符集，可以定義256個字符，適合于歐洲大部分國家
???????????? 例如：WE8ISO8859P1(西歐、8位、ISO標準8859P1編碼)
?
4.2.2 多字節(jié)編碼
??? （1）變長多字節(jié)編碼
??? 某些字符用一個字節(jié)表示，其它字符用兩個或多個字符表示，變長多字節(jié)編碼常用于對亞洲語言的支持，?? 例如日語、漢語、印地語等
??? 例如：AL32UTF8（其中AL代表ALL,指適用于所有語言）、zhs16cgb231280
??? （2）定長多字節(jié)編碼
??? 每一個字符都使用固定長度字節(jié)的編碼方案，目前oracle唯一支持的定長多字節(jié)編碼是AF16UTF16，也是僅用于國家字符集
4.2.3 unicode編碼
??? Unicode是一個涵蓋了目前全世界使用的所有已知字符的單一編碼方案，也就是說Unicode為每一個字符提供唯一的編碼。UTF-16是unicode的16位編碼方式，是一種定長多字節(jié)編碼，用2個字節(jié)表示一個unicode字符，AF16UTF16是UTF-16編碼字符集。
??? UTF-8是unicode的8位編碼方式，是一種變長多字節(jié)編碼，這種編碼可以用1、2、3個字節(jié)表示一個unicode字符，AL32UTF8，UTF8、UTFE是UTF-8編碼字符集
?
4.3 字符集超級
??? 當一種字符集（字符集A）的編碼數值包含所有另一種字符集（字符集B）的編碼數值，并且兩種字符集相同編碼數值代表相同的字符時，則字符集A是字符集B的超級，或稱字符集B是字符集A的子集。
??? Oracle8i和oracle9i官方文檔資料中備有子集-超級對照表（subset-superset pairs），例如：WE8ISO8859P1是WE8MSWIN1252的子集。由于US7ASCII是最早的Oracle數據庫編碼格式，因此有許多字符集是US7ASCII的超集，例如WE8ISO8859P1、ZHS16CGB231280、ZHS16GBK都是US7ASCII的超集。
?
4.4 數據庫字符集（oracle服務器端字符集）
??? 數據庫字符集在創(chuàng)建數據庫時指定，在創(chuàng)建后通常不能更改。在創(chuàng)建數據庫時，可以指定字符集(CHARACTER SET)和國家字符集(NATIONAL CHARACTER SET)。
?
4.4.1字符集
??? (1)用來存儲CHAR, VARCHAR2, CLOB, LONG等類型數據
??? (2)用來標示諸如表名、列名以及PL/SQL變量等
??? (3)用來存儲SQL和PL/SQL程序單元等
?
4.4.2國家字符集：
??? (1)用以存儲NCHAR, NVARCHAR2, NCLOB等類型數據
??? (2)國家字符集實質上是為oracle選擇的附加字符集，主要作用是為了增強oracle的字符處理能力，因為NCHAR數據類型可以提供對亞洲使用定長多字節(jié)編碼的支持，而數據庫字符集則不能。國家字符集在oracle9i中進行了重新定義，只能在unicode編碼中的AF16UTF16和UTF8中選擇，默認值是AF16UTF16
?
4.4.3查詢字符集參數
??? 可以查詢以下數據字典或視圖查看字符集設置情況
??? nls_database_parameters、props$、v$nls_parameters
??? 查詢結果中NLS_CHARACTERSET表示字符集，NLS_NCHAR_CHARACTERSET表示國家字符集
?
4.4.4修改數據庫字符集
??? 按照上文所說，數據庫字符集在創(chuàng)建后原則上不能更改。不過有2種方法可行。
?
1. 如果需要修改字符集，通常需要導出數據庫數據，重建數據庫，再導入數據庫數據的方式來轉換。
2. 通過ALTER DATABASE CHARACTER SET語句修改字符集，但創(chuàng)建數據庫后修改字符集是有限制的，只有新的字符集是當前字符集的超集時才能修改數據庫字符集，例如UTF8是US7ASCII的超集，修改數據庫字符集可使用ALTER DATABASE CHARACTER SET UTF8。
?
4.5 客戶端字符集（NLS_LANG參數）
?
4.5.1客戶端字符集含義
??? 客戶端字符集定義了客戶端字符數據的編碼方式，任何發(fā)自或發(fā)往客戶端的字符數據均使用客戶端定義的字符集編碼,客戶端可以看作是能與數據庫直接連接的各種應用，例如sqlplus,exp/imp等。客戶端字符集是通過設置NLS_LANG參數來設定的。
?
4.5.2 NLS_LANG參數格式
? ??NLS_LANG=<language>_<territory>.<client character set>
??? Language: 顯示oracle消息,校驗，日期命名
??? Territory：指定默認日期、數字、貨幣等格式
??? Client character set：指定客戶端將使用的字符集
??? 例如：NLS_LANG=AMERICAN_AMERICA.US7ASCII
??? AMERICAN是語言，AMERICA是地區(qū)，US7ASCII是客戶端字符集
?
4.5.3客戶端字符集設置方法
???? 1)UNIX環(huán)境
???????? $NLS_LANG=“simplified chinese”_china.zhs16gbk
???????? $export NLS_LANG
???????? 編輯oracle用戶的profile文件
??? 2)Windows環(huán)境
???????? 編輯注冊表
???????? Regedit.exe ---》HKEY_LOCAL_MACHINE ---》SOFTWARE ---》ORACLE-HOME
?
4.5.4 NLS參數查詢
??? Oracle提供若干NLS參數定制數據庫和用戶機以適應本地格式，例如有NLS_LANGUAGE,NLS_DATE_FORMAT,NLS_CALENDER等，可以通過查詢以下數據字典或v$視圖查看。
NLS_DATABASE_PARAMETERS:顯示數據庫當前NLS參數取值，包括數據庫字符集取值
NLS_SESSION_PARAMETERS：? 顯示由NLS_LANG 設置的參數，或經過alter session 改變后的參數值（不包括由NLS_LANG 設置的客戶端字符集）
NLS_INSTANCE_PARAMETE： 顯示由參數文件init<SID>.ora 定義的參數
V$NLS_PARAMETERS：顯示數據庫當前NLS參數取值
?
4.5.5修改NLS參數
??? 使用下列方法可以修改NLS參數
??? （1）修改實例啟動時使用的初始化參數文件
??? （2）修改環(huán)境變量NLS_LANG
??? （3）使用ALTER SESSION語句，在oracle會話中修改
??? （4）使用某些SQL函數
??? NLS作用優(yōu)先級別：Sql function > alter session > 環(huán)境變量或注冊表> 參數文件> 數據庫默認參數
?
五．EXP/IMP 與 字符集
5.1 EXP/IMP
??? Export 和Import 是一對讀寫Oracle數據的工具。Export 將Oracle 數據庫中的數據輸出到操作 系統(tǒng) 文件中, Import 把這些文件中的數據讀到Oracle 數據庫中，由于使用exp/imp進行數據遷移時，數據從源數據庫到目標數據庫的過程中有四個環(huán)節(jié)涉及到字符集，如果這四個環(huán)節(jié)的字符集不一致，將會發(fā)生字符集轉換。
EXP
???? ____________ _________________ _____________
???? |imp導入文件|<-|環(huán)境變量NLS_LANG|<-|數據庫字符集|
????? ------------?? -----------------?? -------------
IMP
???? ____________ _________________ _____________
???? |imp導入文件|->|環(huán)境變量NLS_LANG|->|數據庫字符集|
????? ------------?? -----------------?? -------------
?
?
四個字符集是
?? （1）源數據庫字符集
?? （2）Export過程中用戶會話字符集（通過NLS_LANG設定）
?? （3）Import過程中用戶會話字符集（通過NLS_LANG設定）
?? （4）目標數據庫字符集
?
5.2導出的轉換過程
??? 在Export過程中，如果源數據庫字符集與Export用戶會話字符集不一致，會發(fā)生字符集轉換，并在導出文件的頭部幾個字節(jié)中存儲Export用戶會話字符集的ID號。在這個轉換過程中可能發(fā)生數據的丟失。
?
例:如果源數據庫使用ZHS16GBK，而Export用戶會話字符集使用US7ASCII，由于ZHS16GBK是16位字符集,而US7ASCII是7位字符集，這個轉換過程中，中文字符在US7ASCII中不能夠找到對等的字符，所以所有中文字符都會丟失而變成“?? ”形式，這樣轉換后生成的Dmp文件已經發(fā)生了數據丟失。
因此如果想正確導出源數據庫數據，則Export過程中用戶會話字符集應等于源數據庫字符集或是源數據庫字符集的超集
?
5.3導入的轉換過程
??? （1）確定導出數據庫字符集環(huán)境
???????????? 通過讀取導出文件頭，可以獲得導出文件的字符集設置
??? （2）確定導入session的字符集，即導入Session使用的NLS_LANG環(huán)境變量
??? （3）IMP讀取導出文件
???????????? 讀取導出文件字符集ID，和導入進程的NLS_LANG進行比較
??? （4）如果導出文件字符集和導入Session字符集相同，那么在這一步驟內就不需要轉換，???????????? 如果不同，就需要把數據轉換為導入Session使用的字符集。可以看出，導入數據到數據庫過程中發(fā)生兩次字符集轉換
?
??? 第一次:導入文件字符集與導入Session使用的字符集之間的轉換，如果這個轉換過程不能正確完成，Import向目標數據庫的導入過程也就不能完成。
??? 第二次:導入Session字符集與數據庫字符集之間的轉換。
?
更多文章、技術交流、商務合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
