亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python處理中文標點符號大集合

系統 2463 0

中文文本中可能出現的標點符號來源比較復雜,通過匹配等手段對他們處理的時候需要格外小心,防止遺漏。以下為在下處理中文標點的時候采用的兩種方法:

中文標點集合

比較常見標點有這些:

            
!??"#$%&'()*+,-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n.
          

調用zhon包的zhon.hanzi.punctuation函數即可得到這些中文標點。

如果想用英文的標點,則可調用string包的string.punctuation函數可得到:

            
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~
          

因此,比如需要將所有標點符號去除,可以進行以下操作:

            
>>> import re
>>> from zhon.hanzo import punctuation
>>> line = "測試。。去除標點。。"
>>> print re.sub("[{}]+".format(punctuation), "", line.decode("utf-8")) # 需要將str轉換為unicode
          

當然,如果想去除重復的符號而只保留一個,那么可以用\1指明:比如

            
>>> re.sub(ur"([{}])+".format(punctuation), "\1", line.decode("utf-8"))
          

你也可以手工指定這些標點符號

            
punctuation = """!??"#$%&'()*+-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n"""
re_punctuation = "[{}]+".format(punctuation)
line = re.sub(re_punctuation, "", line)
          

可以通過直接指定unicode碼范圍的辦法來strip,比如:

去除所有半角全角符號,只留字母、數字、中文

            
def remove_punctuation(line):
  rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
  line = rule.sub('',line)
  return line
          

漢字的范圍為”\u4e00-\u9fa5“,這個是用Unicode表示的,所以前面必須要加”u“;字符”r“的意思是表示忽略后面的轉義字符,這樣簡化了后面正則表達式里每遇到一個轉義字符還得挨個轉義的麻煩

最后可以組合成為一個函數

            
def remove_punctuation(line, strip_all=True):
  if strip_all:
    rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
    line = rule.sub('',line)
  else:
    punctuation = """!??"#$%&'()*+-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n"""
    re_punctuation = "[{}]+".format(punctuation)
    line = re.sub(re_punctuation, "", line)
  return line.strip()
          

清洗完畢后,有時候我們希望按照多個標點符號來分割

比如只要遇到中文或英文的逗號和句號等符號就分割,可以直接用translate把這些符號翻譯為統一的分隔符,再split:

            
strip_chars = '?"。.,,《》[]〖〗“”'
single_line = single_line.translate(str.maketrans(dict.fromkeys(strip_chars, '#')))
single_line = single_line.split('#')
          

總結

以上所述是小編給大家介紹的Python處理中文標點符號大集合,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 久久69精品久久久久久hb | 久久精品国产只有精品2020 | 狠狠大日本亚洲香蕉亚洲 | 日本一区二区三区免费在线观看 | 日本自己的私人影院 | 免费在线一级毛片 | 福利网站在线播放 | 国产日产欧美精品 | www.毛片com | 久久狠狠色狠狠色综合 | 亚州精品永久观看视频 | 最新男同志freevideos | 天天干天天操天天插 | 综合网婷婷| 精品亚洲欧美中文字幕在线看 | 婷婷视频在线观看 | 在线播放69热精品视频 | 欧美精品大片 | 97av在线| 九9热这里真品 | 欧美大狠狠大臿蕉香蕉大视频 | 俄罗斯一级成人毛片 | 国内精品区一区二区三 | 日韩成a人片在线观看日本 日韩成人 | 日本一区二 | 九九九影院| 日韩在线视频中文字幕 | 中文字幕曰韩一区二区不卡 | 伊人网伊人 | 最新精品在线 | 美欧毛片| 香蕉视频一级片 | 国产高清视频在线播放 | 国产成人禁片免费观看视频 | 一级毛片aaa片免费观看 | 久久久高清日本道免费观看 | 老司机精品99在线播放 | 欧美日韩免费播放一区二区 | 国产精品久久综合桃花网 | 国产精品日韩欧美在线第3页 | 奇米网在线观看 |