亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python gensim使用word2vec詞向量處理中文語料的方法

系統 2267 0

word2vec介紹

word2vec官網:https://code.google.com/p/word2vec/

  • word2vec是google的一個開源工具,能夠根據輸入的詞的集合計算出詞與詞之間的距離。
  • 它將term轉換成向量形式,可以把對文本內容的處理簡化為向量空間中的向量運算,計算出向量空間上的相似度,來表示文本語義上的相似度。
  • word2vec計算的是余弦值,距離范圍為0-1之間,值越大代表兩個詞關聯度越高。
  • 詞向量:用Distributed Representation表示詞,通常也被稱為“Word Representation”或“Word Embedding(嵌入)”。

簡言之:詞向量表示法讓相關或者相似的詞,在距離上更接近。

具體使用(處理中文)

收集語料

本文:亞馬遜中文書評語料,12萬+句子文本。
語料以純文本形式存入txt文本。
注意:
理論上語料越大越好
理論上語料越大越好
理論上語料越大越好
重要的事情說三遍。
因為太小的語料跑出來的結果并沒有太大意義。

分詞

中文分詞工具還是很多的,我自己常用的:
- 中科院NLPIR
- 哈工大LTP
- 結巴分詞

注意:分詞文本將作為word2vec的輸入文件。

分詞文本示例

python gensim使用word2vec詞向量處理中文語料的方法_第1張圖片

word2vec使用

python,利用gensim模塊。

win7系統下在通常的python基礎上gensim模塊不太好安裝,所以建議使用anaconda,具體參見: python開發之anaconda【以及win7下安裝gensim】

            
直接上代碼――
#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
功能:測試gensim使用,處理中文語料
時間:2016年5月21日 20:49:07
"""

from gensim.models import word2vec
import logging

# 主程序
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
sentences = word2vec.Text8Corpus(u"C:\\Users\\lenovo\\Desktop\\word2vec實驗\\亞馬遜中文書評語料.txt") # 加載語料
model = word2vec.Word2Vec(sentences, size=200) # 默認window=5

# 計算兩個詞的相似度/相關程度
y1 = model.similarity(u"不錯", u"好")
print u"【不錯】和【好】的相似度為:", y1
print "--------\n"

# 計算某個詞的相關詞列表
y2 = model.most_similar(u"書", topn=20) # 20個最相關的
print u"和【書】最相關的詞有:\n"
for item in y2:
  print item[0], item[1]
print "--------\n"

# 尋找對應關系
print u"書-不錯,質量-"
y3 = model.most_similar([u'質量', u'不錯'], [u'書'], topn=3)
for item in y3:
  print item[0], item[1]
print "--------\n"

# 尋找不合群的詞
y4 = model.doesnt_match(u"書 書籍 教材 很".split())
print u"不合群的詞:", y4
print "--------\n"

# 保存模型,以便重用
model.save(u"書評.model")
# 對應的加載方式
# model_2 = word2vec.Word2Vec.load("text8.model")

# 以一種C語言可以解析的形式存儲詞向量
model.save_word2vec_format(u"書評.model.bin", binary=True)
# 對應的加載方式
# model_3 = word2vec.Word2Vec.load_word2vec_format("text8.model.bin", binary=True)

if __name__ == "__main__":
  pass
          

運行結果

【不錯】和【好】的相似度為: 0.790186663972
--------

和【書】最相關的詞有:

書籍 0.675163209438
書本 0.633386790752
確實 0.568059504032
教材 0.551493048668
正品 0.532882153988
沒得說 0.529319941998
好 0.522468209267
據說 0.51004421711
圖書 0.508755385876
挺 0.497194319963
新書 0.494331330061
很 0.490583062172
不錯 0.476392805576
正版 0.460161447525
紙張 0.454929769039
可惜 0.450752496719
工具書 0.449723362923
的確 0.448629021645
商品 0.444284260273
紙質 0.443040698767
--------

書-不錯,質量-
精美 0.507958948612
總的來說 0.496103972197
材質 0.493623793125
--------

不合群的詞: 很

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 精品麻豆 | 国产精品免费在线播放 | 久久香蕉国产 | 天天干天天噜 | 国外成人在线视频 | 免费一级特黄欧美大片久久网 | 久久精品国产精品青草不卡 | 国产午夜亚洲精品不卡福利 | 日产国产欧美视频一区精品 | 最近中文字幕精彩视频 | 亚洲精品一区二区综合 | 久久中文字幕一区二区 | 婷婷热 | 99热久久这里只有精品6 | 亚洲欧洲国产经精品香蕉网 | 国产成人mv在线观看入口视频 | 在线久操 | 一区二区三区高清 | 久久久久久久爱综合 | 亚洲综合日韩欧美一区二区三 | 国内精品免费久久久久妲己 | 天天看天天干 | 老司机免费福利视频无毒午夜 | 午夜一区 | 日本在线不卡免 | 国产一区二区在线播放 | 精品国产三级v | www日日日 | 国产精品久久久久久一区二区三区 | 午夜小视频网站 | 久久99久久99精品免观看麻豆 | 亚洲人成一区二区三区 | 婷婷综合激情网 | 中文字幕久久久久久久系列 | 久草国产在线播放 | 国产精品18久久久久久小说 | 国产一区二区免费不卡在线播放 | 亚洲高清免费视频 | 深夜影院在线观看 | 激情在线网站 | 欧美羞羞视频 |