亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python處理中文標點符號大集合

系統 2463 0

中文文本中可能出現的標點符號來源比較復雜,通過匹配等手段對他們處理的時候需要格外小心,防止遺漏。以下為在下處理中文標點的時候采用的兩種方法:

中文標點集合

比較常見標點有這些:

            
!??"#$%&'()*+,-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n.
          

調用zhon包的zhon.hanzi.punctuation函數即可得到這些中文標點。

如果想用英文的標點,則可調用string包的string.punctuation函數可得到:

            
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~
          

因此,比如需要將所有標點符號去除,可以進行以下操作:

            
>>> import re
>>> from zhon.hanzo import punctuation
>>> line = "測試。。去除標點。。"
>>> print re.sub("[{}]+".format(punctuation), "", line.decode("utf-8")) # 需要將str轉換為unicode
          

當然,如果想去除重復的符號而只保留一個,那么可以用\1指明:比如

            
>>> re.sub(ur"([{}])+".format(punctuation), "\1", line.decode("utf-8"))
          

你也可以手工指定這些標點符號

            
punctuation = """!??"#$%&'()*+-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n"""
re_punctuation = "[{}]+".format(punctuation)
line = re.sub(re_punctuation, "", line)
          

可以通過直接指定unicode碼范圍的辦法來strip,比如:

去除所有半角全角符號,只留字母、數字、中文

            
def remove_punctuation(line):
  rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
  line = rule.sub('',line)
  return line
          

漢字的范圍為”\u4e00-\u9fa5“,這個是用Unicode表示的,所以前面必須要加”u“;字符”r“的意思是表示忽略后面的轉義字符,這樣簡化了后面正則表達式里每遇到一個轉義字符還得挨個轉義的麻煩

最后可以組合成為一個函數

            
def remove_punctuation(line, strip_all=True):
  if strip_all:
    rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
    line = rule.sub('',line)
  else:
    punctuation = """!??"#$%&'()*+-/:;<=>@[\]^_`{|}~?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n"""
    re_punctuation = "[{}]+".format(punctuation)
    line = re.sub(re_punctuation, "", line)
  return line.strip()
          

清洗完畢后,有時候我們希望按照多個標點符號來分割

比如只要遇到中文或英文的逗號和句號等符號就分割,可以直接用translate把這些符號翻譯為統一的分隔符,再split:

            
strip_chars = '?"。.,,《》[]〖〗“”'
single_line = single_line.translate(str.maketrans(dict.fromkeys(strip_chars, '#')))
single_line = single_line.split('#')
          

總結

以上所述是小編給大家介紹的Python處理中文標點符號大集合,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 欧美综合天天夜夜久久 | 国产视频一区在线观看 | 久久这里 | 国产精品午夜久久久久久99热 | 精品综合久久久久97 | 中文字幕伦理聚合第一页 | 久久精品久噜噜噜久久 | 久久成人视 | 俄欧美做爰xxxⅹ在线视频 | 国产精品九九久久一区hh | 久久草视频 | 成人国产精品免费网站 | 亚洲日本中文 | 无码免费一区二区三区免费播放 | 深夜在线小视频 | 国产精品嫩草影院99av视频 | 国产一二三区精品 | 欧洲自拍偷拍 | 深夜视频免费看 | 四虎影永久地址www 四虎影永久在线高清免费 四虎影永久在线观看精品 四虎影永久在线观看网址 四虎影院.com | 日韩高清性爽一级毛片免费 | 国产精品久久久久免费a∨ 国产精品久久久久免费视频 | 一区二区三区四区在线 | 亚洲成在人天堂一区二区 | 欧美成人免费 | 日日做夜夜爱 | 欧美日韩国产在线 | 天天操天天摸天天碰 | 久久er国产精品免费观看8 | 2021成人国产精品 | 中文字幕国产精品 | 亚州毛片| 国产aaa免费视频国产 | 黄色在线免费 | 香蕉在线观看999 | 天天干狠狠干 | 精品国产乱码一区二区三区 | 97在线视频免费观看费观看 | 亚洲精品乱码一区二区在线观看 | 久久一日本道色综合久久m 久久一色本道亚洲 | 农村三级孕妇视频在线 |