亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python處理中文標點符號大集合

系統 2463 0

中文文本中可能出現的標點符號來源比較復雜,通過匹配等手段對他們處理的時候需要格外小心,防止遺漏。以下為在下處理中文標點的時候采用的兩種方法:

中文標點集合

比較常見標點有這些:

            
!??"#$%&'()*+,-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n.
          

調用zhon包的zhon.hanzi.punctuation函數即可得到這些中文標點。

如果想用英文的標點,則可調用string包的string.punctuation函數可得到:

            
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~
          

因此,比如需要將所有標點符號去除,可以進行以下操作:

            
>>> import re
>>> from zhon.hanzo import punctuation
>>> line = "測試。。去除標點。。"
>>> print re.sub("[{}]+".format(punctuation), "", line.decode("utf-8")) # 需要將str轉換為unicode
          

當然,如果想去除重復的符號而只保留一個,那么可以用\1指明:比如

            
>>> re.sub(ur"([{}])+".format(punctuation), "\1", line.decode("utf-8"))
          

你也可以手工指定這些標點符號

            
punctuation = """!??"#$%&'()*+-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n"""
re_punctuation = "[{}]+".format(punctuation)
line = re.sub(re_punctuation, "", line)
          

可以通過直接指定unicode碼范圍的辦法來strip,比如:

去除所有半角全角符號,只留字母、數字、中文

            
def remove_punctuation(line):
  rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
  line = rule.sub('',line)
  return line
          

漢字的范圍為”\u4e00-\u9fa5“,這個是用Unicode表示的,所以前面必須要加”u“;字符”r“的意思是表示忽略后面的轉義字符,這樣簡化了后面正則表達式里每遇到一個轉義字符還得挨個轉義的麻煩

最后可以組合成為一個函數

            
def remove_punctuation(line, strip_all=True):
  if strip_all:
    rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
    line = rule.sub('',line)
  else:
    punctuation = """!??"#$%&'()*+-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n"""
    re_punctuation = "[{}]+".format(punctuation)
    line = re.sub(re_punctuation, "", line)
  return line.strip()
          

清洗完畢后,有時候我們希望按照多個標點符號來分割

比如只要遇到中文或英文的逗號和句號等符號就分割,可以直接用translate把這些符號翻譯為統一的分隔符,再split:

            
strip_chars = '?"。.,,《》[]〖〗“”'
single_line = single_line.translate(str.maketrans(dict.fromkeys(strip_chars, '#')))
single_line = single_line.split('#')
          

總結

以上所述是小編給大家介紹的Python處理中文標點符號大集合,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 欧美va亚洲va国产综合 | 中国美女bbbbbxxxxx | 国产在线精品福利大全 | 中文字幕国产在线 | 欧美一区二区三区视频 | 99在线视频免费观看 | 成人久久18免费网站 | 国产成年女一区二区三区 | 精品中文字幕久久久久久 | 天天狠狠弄夜夜狠狠躁·太爽了 | 欧美高清69hd| 综合激情五月婷婷 | 天天干天天射综合网 | aaaa级片 | 奇米影视第四色888 奇米影视第四色首页 | 黄色在线观看网站 | 亚洲国产精久久久久久久春色 | 波多野给衣一区二区三区 | 午夜在线视频一区二区三区 | 免费精品国产自产拍在 | 羞羞免费网站 | 嘿咻成人免费视频欧美激情 | 人人干人人爱 | 天天干夜操 | 成人欧美一区二区三区黑人 | 国产一区二区在线播放 | 国产在线播放成人免费 | 99re这里有免费视频精品 | 国产成人夜间影院在线观看 | 日日夜夜精品免费视频 | 国产情侣偷国语对白 | 99在线观看免费视频 | 奇米影视小说 | 狠狠色综合久久婷婷色天使 | 精品国产日韩亚洲一区91 | 亚洲精品美女久久久久99 | 全黄大全大色全免费大片 | 另类综合图片 | 亚洲国产成人久久午夜 | 亚洲国产女人aaa毛片在线 | 久久香蕉综合色一综合色88 |