亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python處理中文標點符號大集合

系統 2463 0

中文文本中可能出現的標點符號來源比較復雜,通過匹配等手段對他們處理的時候需要格外小心,防止遺漏。以下為在下處理中文標點的時候采用的兩種方法:

中文標點集合

比較常見標點有這些:

            
!??"#$%&'()*+,-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n.
          

調用zhon包的zhon.hanzi.punctuation函數即可得到這些中文標點。

如果想用英文的標點,則可調用string包的string.punctuation函數可得到:

            
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~
          

因此,比如需要將所有標點符號去除,可以進行以下操作:

            
>>> import re
>>> from zhon.hanzo import punctuation
>>> line = "測試。。去除標點。。"
>>> print re.sub("[{}]+".format(punctuation), "", line.decode("utf-8")) # 需要將str轉換為unicode
          

當然,如果想去除重復的符號而只保留一個,那么可以用\1指明:比如

            
>>> re.sub(ur"([{}])+".format(punctuation), "\1", line.decode("utf-8"))
          

你也可以手工指定這些標點符號

            
punctuation = """!??"#$%&'()*+-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n"""
re_punctuation = "[{}]+".format(punctuation)
line = re.sub(re_punctuation, "", line)
          

可以通過直接指定unicode碼范圍的辦法來strip,比如:

去除所有半角全角符號,只留字母、數字、中文

            
def remove_punctuation(line):
  rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
  line = rule.sub('',line)
  return line
          

漢字的范圍為”\u4e00-\u9fa5“,這個是用Unicode表示的,所以前面必須要加”u“;字符”r“的意思是表示忽略后面的轉義字符,這樣簡化了后面正則表達式里每遇到一個轉義字符還得挨個轉義的麻煩

最后可以組合成為一個函數

            
def remove_punctuation(line, strip_all=True):
  if strip_all:
    rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
    line = rule.sub('',line)
  else:
    punctuation = """!??"#$%&'()*+-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n"""
    re_punctuation = "[{}]+".format(punctuation)
    line = re.sub(re_punctuation, "", line)
  return line.strip()
          

清洗完畢后,有時候我們希望按照多個標點符號來分割

比如只要遇到中文或英文的逗號和句號等符號就分割,可以直接用translate把這些符號翻譯為統一的分隔符,再split:

            
strip_chars = '?"。.,,《》[]〖〗“”'
single_line = single_line.translate(str.maketrans(dict.fromkeys(strip_chars, '#')))
single_line = single_line.split('#')
          

總結

以上所述是小編給大家介紹的Python處理中文標點符號大集合,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 色哥网站 | 国产成人综合在线视频 | 欧美成人精品久久精品 | xxxx免费观看 | 99久久99热久久 | 女性一级全黄生活片在线播放 | 亚洲国产精品网 | 久草久草| 四虎精品成人免费视频 | 美女女女女女女bbbbbb毛片 | 久久精品国内一区二区三区 | 九九精品久久久久久噜噜 | 玖玖成人 | 国产精品一区二区三区免费视频 | 国产成人在线免费观看 | 色婷婷精品大全在线视频 | 欧美成人老熟妇暴潮毛片 | 99国产成人高清在线视频 | 日韩二区 | 第一序列番外篇在哪里看 | 高清国产美女在线观看 | 久久久久久噜噜噜久久久精品 | 手机看片福利日韩欧美看片 | 久久影院一区二区三区 | 香蕉视频影院 | 免费福利视频网站 | 日日夜夜操视频 | 成人一级视频 | 日本草草影院 | 操操操干干干 | 日本人一级毛片免费完整视频 | 欧美人与动人物a级网站 | 亚洲视频在线播放 | 欧美开嫩苞实拍视频在线观看 | 亚洲国产精品一区二区久久 | 日韩欧美毛片免费观看视频 | 免费一级黄色片 | 青草视频网站 | 国产成人拍精品视频网 | 58av国产精品 | 99r8这里精品热视频免费看 |