正則表達式
什么是正則表達式?
正則表達式是對字符串(包括普通字符(例如,a 到 z 之間的字母)和特殊字符(稱為“元字符”))操作的一種邏輯公式,就是用事先定義好的一些特定字符、及這些特定字符的組合,組成一個“規則字符串”,這個“規則字符串”用來表達對字符串的一種過濾邏輯。正則表達式是一種文本模式,該模式描述在搜索文本時要匹配的一個或多個字符串。
正則表達式可以干什么?
- 快速高效的查找與分析字符串
- 進行有規律查找比對字符串,也叫:模式匹配
- 具有查找、比對、匹配、替換、插入、添加、刪除等能力。
字符串是編程時涉及到的最多的一種數據結構,對字符串進行操作的需求幾乎無處不在。比如我們編寫爬蟲收集數據,首先都得到網頁源碼,但是我們要如何提取有效數據呢,這時候我們就需要使用正則表達式來進行匹配了
?
re模塊
正則表達式是一個特殊的字符序列,它能幫助你方便的檢查一個字符串是否與某種模式匹配。Python 自1.5版本起增加了re 模塊,它提供 Perl 風格的正則表達式模式。re 模塊使 Python 語言擁有全部的正則表達式功能。
由于Python的字符串本身也用
\
轉義,所以要特別注意:
s = 'ABC\\-001' # Python的字符串 # 對應的正則表達式字符串變成: # 'ABC\-001'
因此建議使用Python的
r
前綴,就不用考慮轉義的問題了:
s = r'ABC\-001' # Python的字符串 # 對應的正則表達式字符串不變: # 'ABC\-001'
?
re模塊符號大全
正則表達式模式
模式字符串使用特殊的語法來表示一個正則表達式:
字母和數字表示他們自身。一個正則表達式模式中的字母和數字匹配同樣的字符串。
多數字母和數字前加一個反斜杠時會擁有不同的含義。
標點符號只有被轉義時才匹配自身,否則它們表示特殊的含義。
反斜杠本身需要使用反斜杠轉義。
由于正則表達式通常都包含反斜杠,所以你最好使用原始字符串來表示它們。模式元素(如? r'\t',等價于? \\t?)匹配相應的特殊字符。
下表列出了正則表達式模式語法中的特殊元素。如果你使用模式的同時提供了可選的標志參數,某些模式元素的含義會改變。
模式 | 描述 |
---|---|
^ | 匹配字符串的開頭 |
$ | 匹配字符串的末尾。 |
. | 匹配任意字符,除了換行符,當re.DOTALL標記被指定時,則可以匹配包括換行符的任意字符。 |
[...] | 用來表示一組字符,單獨列出:[amk] 匹配 'a','m'或'k' |
[^...] | 不在[]中的字符:[^abc] 匹配除了a,b,c之外的字符。 |
re* | 匹配0個或多個的表達式。 |
re+ | 匹配1個或多個的表達式。 |
re? | 匹配0個或1個由前面的正則表達式定義的片段,非貪婪方式 |
re{ n} | 匹配n個前面表達式。例如,"o{2}"不能匹配"Bob"中的"o",但是能匹配"food"中的兩個o。 |
re{ n,} | 精確匹配n個前面表達式。例如,"o{2,}"不能匹配"Bob"中的"o",但能匹配"foooood"中的所有o。"o{1,}"等價于"o+"。"o{0,}"則等價于"o*"。 |
re{ n, m} | 匹配 n 到 m 次由前面的正則表達式定義的片段,貪婪方式 |
a| b | 匹配a或b |
(re) | 匹配括號內的表達式,也表示一個組 |
(?imx) | 正則表達式包含三種可選標志:i, m, 或 x 。只影響括號中的區域。 |
(?-imx) | 正則表達式關閉 i, m, 或 x 可選標志。只影響括號中的區域。 |
(?: re) | 類似 (...), 但是不表示一個組 |
(?imx: re) | 在括號中使用i, m, 或 x 可選標志 |
(?-imx: re) | 在括號中不使用i, m, 或 x 可選標志 |
(?#...) | 注釋. |
(?= re) | 前向肯定界定符。如果所含正則表達式,以 ... 表示,在當前位置成功匹配時成功,否則失敗。但一旦所含表達式已經嘗試,匹配引擎根本沒有提高;模式的剩余部分還要嘗試界定符的右邊。 |
(?! re) | 前向否定界定符。與肯定界定符相反;當所含表達式不能在字符串當前位置匹配時成功。 |
(?> re) | 匹配的獨立模式,省去回溯。 |
\w | 匹配數字字母下劃線 |
\W | 匹配非數字字母下劃線 |
\s | 匹配任意空白字符,等價于 [\t\n\r\f]。 |
\S | 匹配任意非空字符 |
\d | 匹配任意數字,等價于 [0-9]。 |
\D | 匹配任意非數字 |
\A | 匹配字符串開始 |
\Z | 匹配字符串結束,如果是存在換行,只匹配到換行前的結束字符串。 |
\z | 匹配字符串結束 |
\G | 匹配最后匹配完成的位置。 |
\b | 匹配一個單詞邊界,也就是指單詞和空格間的位置。例如, 'er\b' 可以匹配"never" 中的 'er',但不能匹配 "verb" 中的 'er'。 |
\B | 匹配非單詞邊界。'er\B' 能匹配 "verb" 中的 'er',但不能匹配 "never" 中的 'er'。 |
\n, \t, 等。 | 匹配一個換行符。匹配一個制表符, 等 |
\1...\9 | 匹配第n個分組的內容。 |
\10 | 匹配第n個分組的內容,如果它經匹配。否則指的是八進制字符碼的表達式。 |
注意
:表中re指的是表達式而不是字面的re這兩個字母
正則表達式修飾符 - 可選標志
正則表達式可以包含一些可選標志修飾符來控制匹配的模式。修飾符被指定為一個可選的標志。多個標志可以通過按位 OR(|) 它們來指定。如 re.I | re.M 被設置成 I 和 M 標志:
修飾符 | 描述 |
---|---|
re.I | 使匹配對大小寫不敏感 |
re.L | 做本地化識別(locale-aware)匹配 |
re.M | 多行匹配,影響 ^ 和 $ |
re.S | 使 . 匹配包括換行在內的所有字符 |
re.U | 根據Unicode字符集解析字符。這個標志影響 \w, \W, \b, \B. |
re.X | 該標志通過給予你更靈活的格式以便你將正則表達式寫得更易于理解。 |
正則表達式對象
re.RegexObject
re.compile() 返回 RegexObject 對象。
re.MatchObject
group() 返回被 RE 匹配的字符串。
- start()?返回匹配開始的位置
- end()?返回匹配結束的位置
- span()?返回一個元組包含匹配 (開始,結束) 的位置
?
準備知識
我們先來看看廖雪峰老師講解的正則表達式:
正則表達式是用字符串表示的,所以,我們要首先了解如何用字符來描述字符。
在正則表達式中,如果直接給出字符,就是精確匹配。
使用特殊符號表示字符:用
\d
可以匹配一個數字,
\w
可以匹配一個字母或數字,例如:
-
'00\d'
可以匹配'007'
,但無法匹配'00A'
; -
'\d\d\d'
可以匹配'010'
; -
'\w\w\d'
可以匹配'py3'。
'.'
可以匹配任意字符,所以:
-
'py.'
可以匹配'pyc'
、'py3'
、'py!'
等等。
要匹配變長的字符,在正則表達式中,用
*
表示任意個字符(包括0個),用
+
表示至少一個字符,用
?
表示0個或1個字符,用
{n}
表示n個字符,用
{n,m}
表示n-m個字符。
來看一個復雜的例子:
\d{3}\s+\d{3,8}
。
我們來從左到右解讀一下:
-
\d{3}
表示匹配3個數字,例如'010'
; -
\s
可以匹配一個空格(也包括Tab等空白符),所以\s+
表示至少有一個空格,例如匹配' '
,' '
等; -
\d{3,8}
表示3-8個數字,例如'1234567'
。
綜合起來,上面的正則表達式可以匹配以任意個空格隔開的帶區號的電話號碼。
如果要匹配
'010-12345'
這樣的號碼呢?由于
'-'
是特殊字符,在正則表達式中,要用
'\'
轉義,所以,上面的正則是
\d{3}\-\d{3,8}
。
但是,仍然無法匹配
'010 - 12345'
,因為帶有空格。所以我們需要更復雜的匹配方式。
進階
要做更精確地匹配,可以用
[]
表示范圍,比如:
-
[0-9a-zA-Z\_]
可以匹配一個數字、字母或者下劃線; -
[0-9a-zA-Z\_]+
可以匹配至少由一個數字、字母或者下劃線組成的字符串,比如'a100'
,'0_Z'
,'Py3000'
等等; -
[a-zA-Z\_][0-9a-zA-Z\_]*
可以匹配由字母或下劃線開頭,后接任意個由一個數字、字母或者下劃線組成的字符串,也就是Python合法的變量; -
[a-zA-Z\_][0-9a-zA-Z\_]{0, 19}
更精確地限制了變量的長度是1-20個字符(前面1個字符+后面最多19個字符)。
A|B
可以匹配A或B,所以
(P|p)ython
可以匹配
'Python'
或者
'python'
。
^
表示行的開頭,
^\d
表示必須以數字開頭。
$
表示行的結束,
\d$
表示必須以數字結束。
py
也可以匹配
'python'
,但是加上
^py$
就變成了整行匹配,就只能匹配
'py'
了。
re模常用方法
?
re.match()
re.match 嘗試從 字符串的起始位置 匹配一個模式,如果不是起始位置匹配成功的話,match()就返回none。
函數語法 :
re.match(pattern, string, flags=0)
函數參數說明:
參數 | 描述 |
---|---|
pattern | 匹配的正則表達式 |
string | 要匹配的字符串。 |
flags | 標志位,用于控制正則表達式的匹配方式,如:是否區分大小寫,多行匹配等等。參見上方可選標志表格 |
匹配成功re.match方法返回一個匹配的對象,否則返回None。
實例:
import re print (re.match( ' www ' , ' www.baidu.com ' ).span()) print (re.match( ' baidu ' , ' www.baidu.com ' ))
輸出:
(0, 3
)
None
第一個匹配成功,第二個則失敗
re.search()
re.search 掃描 整個字符串 并返回第一個成功的匹配。
函數語法:
re.search(pattern, string, flags=0)
?
函數參數說明:
參數 | 描述 |
---|---|
pattern | 匹配的正則表達式 |
string | 要匹配的字符串。 |
flags |
標志位,用于控制正則表達式的匹配方式,如:是否區分大小寫,多行匹配等等。參見上方可選標志表格
|
匹配成功re.search方法返回一個匹配的對象,否則返回None。
實例:
import re print (re.search( ' www ' , ' www.baidu.com ' )) print (re.search( ' baidu ' , ' www.baidu.com ' ))
輸出:
<_sre.SRE_Match object; span=(0, 3), match= ' www ' > <_sre.SRE_Match object; span=(4, 9), match= ' baidu ' >
compile 函數
compile 函數用于編譯正則表達式,生成一個正則表達式( Pattern )對象,供 match() 和 search() 這兩個函數使用。
提前編譯可減少多次正則匹配的運行時間
語法格式為:
re.compile(pattern[, flags])
參數:
- pattern : 一個字符串形式的正則表達式
- flags 可選,表示匹配模式
re.findall()
在字符串中找到正則表達式所匹配的所有子串,并返回一個 列表 ,如果沒有找到匹配的,則返回空列表。
注意: ?match 和 search 是匹配一次 findall 匹配所有。
語法格式為:
re.findall(string, pos, endpos)
參數:
- string?待匹配的字符串。
- pos?可選參數,指定字符串的起始位置,默認為 0。
- endpos?可選參數,指定字符串的結束位置,默認為字符串的長度。
實例:
import re mat =re.compile(r ' \d+ ' ) # 匹配數字 print (mat.findall( ' abafa 124ddwa56 ' )) print (mat.findall( ' abafa 124ddwa56 ' ,0,7)) # 匹配從0位開始,到7位結束
輸出:
[ ' 124 ' , ' 56 ' ] [ ' 1 ' ]
re.finditer
和 findall 類似,在字符串中找到正則表達式所匹配的所有子串,并把它們作為一個 迭代器 返回。
re.finditer(pattern, string, flags=0)
實例:
import re it = re.finditer(r " \d+ " , " 12a32bc43jf3 " ) for match in it: print (match.group())
輸出:
12 32 43 3
?
re.split
split 方法按照能夠匹配的子串將字符串分割后返回列表,它的使用形式如下:
re.split(pattern, string[, maxsplit=0, flags=0])
參數:
參數 | 描述 |
---|---|
pattern | 匹配的正則表達式 |
string | 要匹配的字符串。 |
maxsplit | 分隔次數,maxsplit=1 分隔一次,默認為 0,不限制次數。 |
flags |
標志位,用于控制正則表達式的匹配方式,如:是否區分大小寫,多行匹配等等。參見上方可選標志表格
|
實例:
用正則表達式切分字符串比用固定的字符更靈活,請看正常的切分代碼:
>>> 'a b c'.split(' ') ['a', 'b', '', '', 'c']
發現無法識別連續的空格,用正則表達式試試:
>>> re.split(r'\s+', 'a b c') ['a', 'b', 'c']
無論多少個空格都可以正常分割。加入
,
試試:
>>> re.split(r'[\s\,]+', 'a,b, c d') ['a', 'b', 'c', 'd']
再加入
;
試試:
>>> re.split(r'[\s\,\;]+', 'a,b;; c d') ['a', 'b', 'c', 'd']
?
groups()
我們可以使用group(num) 或 groups() 匹配對象函數來獲取匹配表達式。
匹配對象方法 | 描述 |
---|---|
group(num=0) | 匹配的整個表達式的字符串,group() 可以一次輸入多個組號,在這種情況下它將返回一個包含那些組所對應值的元組。 |
groups() | 返回一個包含所有小組字符串的元組,從 1 到 所含的小組號。 |
實例:
import
re
m = re.match(r'^(\d{3})-(\d{3,8})$', '010-12345'
)
print
(m.group(0))
print(m.group(1
))
print(m.group(2
))
print(m.groups())
輸出:
010-12345
010
12345
('010', '12345')
re.sub
Python 的re模塊提供了re.sub用于替換字符串中的匹配項。
語法:
re.sub(pattern, repl, string, count=0, flags=0)
參數:
- pattern : 正則中的模式字符串。
- repl : 替換的字符串,也可為一個函數。
- string : 要被查找替換的原始字符串。
- count : 模式匹配后替換的最大次數,默認 0 表示替換所有的匹配。
- flags : 編譯時用的匹配模式,數字形式。
前三個為必選參數,后兩個為可選參數。
實例:
import re phone = " 2004-959-559 # 這是一個電話號碼 " # 刪除注釋 num = re.sub(r ' #.*$ ' , "" , phone) print ( " 電話號碼 : " , num) # 移除非數字的內容 num = re.sub(r ' \D ' , "" , phone) print ( " 電話號碼 : " , num)
repl 參數可以是一個函數
以下實例中將字符串中的匹配的數字乘于 2:
實例:
import re # 將匹配的數字乘于 2 def double(matched): value = int(matched.group( ' value ' )) return str(value * 2 ) s = ' A23G4HFD567 ' print (re.sub( ' (?P\d+) ' , double, s))
輸出:
A46G8HFD1134
?
貪婪匹配
需要
特別指出
的是,正則匹配默認是貪婪匹配,也就是匹配盡可能多的字符。舉例如下,匹配出數字后面的
0
:
>>> re.match(r ' ^(\d+)(0*)$ ' , ' 102300 ' ).groups() ( ' 102300 ' , '' )
由于
\d+
采用貪婪匹配,直接把后面的
0
全部匹配了,結果
0*
只能匹配空字符串了。
必須讓
\d+
采用非貪婪匹配(也就是盡可能少匹配),才能把后面的
0
匹配出來,加個
?
就可以讓
\d+
采用非貪婪匹配:
>>> re.match(r ' ^(\d+?)(0*)$ ' , ' 102300 ' ).groups() ( ' 1023 ' , ' 00 ' )
正則表達式實例
字符匹配
實例 | 描述 |
---|---|
python | 匹配 "python". |
字符類
實例 | 描述 |
---|---|
[Pp]ython | 匹配 "Python" 或 "python" |
rub[ye] | 匹配 "ruby" 或 "rube" |
[aeiou] | 匹配中括號內的任意一個字母 |
[0-9] | 匹配任何數字。類似于 [0123456789] |
[a-z] | 匹配任何小寫字母 |
[A-Z] | 匹配任何大寫字母 |
[a-zA-Z0-9] | 匹配任何字母及數字 |
[^aeiou] | 除了aeiou字母以外的所有字符 |
[^0-9] | 匹配除了數字外的字符 |
特殊字符類
實例 | 描述 |
---|---|
. | 匹配除 "\n" 之外的任何單個字符。要匹配包括 '\n' 在內的任何字符,請使用象 '[.\n]' 的模式。 |
\d | 匹配一個數字字符。等價于 [0-9]。 |
\D | 匹配一個非數字字符。等價于 [^0-9]。 |
\s | 匹配任何空白字符,包括空格、制表符、換頁符等等。等價于 [ \f\n\r\t\v]。 |
\S | 匹配任何非空白字符。等價于 [^ \f\n\r\t\v]。 |
\w | 匹配包括下劃線的任何單詞字符。等價于'[A-Za-z0-9_]'。 |
\W | 匹配任何非單詞字符。等價于 '[^A-Za-z0-9_]'。 |
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
