亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Latent Semantic Analysis(LSA/ LSI)算法簡介

系統(tǒng) 2317 0

? 本文地址為:http://www.cnblogs.com/kemaswill/,作者聯(lián)系方式為kemaswill@163.com,轉(zhuǎn)載請注明出處。

1. 傳統(tǒng)向量空間模型的缺陷

? 向量空間模型是信息檢索中最常用的檢索方法,其檢索過程是,將文檔集D中的所有文檔和查詢都表示成以單詞為特征的向量,特征值為每個單詞的TF-IDF值,然后使用向量空間模型(亦即計算查詢q的向量和每個文檔di的向量之間的相似度)來衡量文檔和查詢之間的相似度,從而得到和給定查詢最相關(guān)的文檔。

? 向量空間模型簡單的基于單詞的出現(xiàn)與否以及TF-IDF等信息來進行檢索,但是“說了或者寫了哪些單詞”和“真正想表達的意思”之間有很大的區(qū)別,其中兩個重要的阻礙是單詞的多義性(polysems)和同義性(synonymys)。多義性指的是一個單詞可能有多個意思,比如Apple,既可以指水果蘋果,也可以指蘋果公司;而同義性指的是多個不同的詞可能表示同樣的意思,比如search和find。

? 同義詞和多義詞的存在使得單純基于單詞的檢索方法(比如向量空間模型等)的檢索精度受到很大影響。下面舉例說明:

? 假設用戶的查詢?yōu)镼="IDF in computer-based information look-up"

? 存在三篇文檔Doc 1,Doc 2,Doc 3,其向量表示如下:

? Access Document Retrieval Information Theory Database Indexing Computer Relevance Match
Doc 1 ? ? 1 ? ? ? 1 ? ? ?1 ? ? ? ? ?1 ? ? 1 ? ? ? ? R ?
Doc 2 ? ? ? ? ? ? 1 x ? ?1 ? ? ? ? 1 x ? ? M
Doc 3 ? ? ? ? ?1 ? ? ? 1 x ? ? ? ? ? 1 x ? ? ? R ? M

? 其中Table(i,j)=1表示文檔i包含詞語j。Table(i,j)=x表示該詞語在查詢Q中出現(xiàn)。Relevance如果為R表示該文檔實際上和查詢Q相關(guān),Match為M表示根據(jù)基于單詞的檢索方法判斷的文檔和查詢的相關(guān)性。

? 通過觀察查詢,我們知道用戶實際上需要的是和“信息檢索”相關(guān)的文檔,文檔1是和信息檢索相關(guān)的,但是因為不包含查詢Q中的詞語,所以沒有被檢索到。實際上該文檔包含的詞語“retrieval”和查詢Q中的“l(fā)ook-up”是同義詞,基于單詞的檢索方法無法識別同義詞,降低了檢索的性能。而文檔2雖然包含了查詢中的"information"和"computer"兩個詞語,但是實際上該篇文檔講的是“信息論”(Information Theory),但是基于單詞的檢索方法無法識別多義詞,所以把這篇實際不相關(guān)的文檔標記為Match。

? 總而言之,在基于單詞的檢索方法中,同義詞會降低檢索算法的召回率(Recall),而多義詞的存在會降低檢索系統(tǒng)的準確率(Precision)。

2. Latent Semantic Analysis (Latent Semantic Indexing)

? 我們希望找到一種模型,能夠捕獲到單詞之間的相關(guān)性。如果兩個單詞之間有很強的相關(guān)性,那么當一個單詞出現(xiàn)時,往往意味著另一個單詞也應該出現(xiàn)(同義詞);反之,如果查詢語句或者文檔中的某個單詞和其他單詞的相關(guān)性都不大,那么這個詞很可能表示的是另外一個意思(比如在討論互聯(lián)網(wǎng)的文章中,Apple更可能指的是Apple公司,而不是水果) ?。

? LSA(LSI)使用SVD來對單詞-文檔矩陣進行分解。SVD可以看作是從單詞-文檔矩陣中發(fā)現(xiàn)不相關(guān)的索引變量(因子),將原來的數(shù)據(jù)映射到語義空間內(nèi)。在單詞-文檔矩陣中不相似的兩個文檔,可能在語義空間內(nèi)比較相似。

? SVD,亦即奇異值分解,是對矩陣進行分解的一種方法,一個t*d維的矩陣(單詞-文檔矩陣)X,可以分解為T*S*D T ,其中T為t*m維矩陣,T中的每一列稱為左奇異向量(left singular bector),S為m*m維對角矩陣,每個值稱為奇異值(singular value),D為d*m維矩陣,D中的每一列稱為右奇異向量。在對單詞文檔矩陣X做SVD分解之后,我們只保存S中最大的K個奇異值,以及T和D中對應的K個奇異向量,K個奇異值構(gòu)成新的對角矩陣S’,K個左奇異向量和右奇異向量構(gòu)成新的矩陣T’和D’:X’=T’*S’*D’ T 形成了一個新的t*d矩陣。

? 假設索引的文檔的集合如下:

Latent Semantic Analysis(LSA/ LSI)算法簡介_第1張圖片

? Term-Document矩陣為:

      
         1
      
       [[ 
      
        1
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        1
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      
        .]

      
      
         2
      
        [ 
      
        1
      
      .  
      
        0
      
      .  
      
        1
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      
        .]

      
      
         3
      
        [ 
      
        1
      
      .  
      
        1
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      
        .]

      
      
         4
      
        [ 
      
        0
      
      .  
      
        1
      
      .  
      
        1
      
      .  
      
        0
      
      .  
      
        1
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      
        .]

      
      
         5
      
        [ 
      
        0
      
      .  
      
        1
      
      .  
      
        1
      
      .  
      
        2
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      
        .]

      
      
         6
      
        [ 
      
        0
      
      .  
      
        1
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        1
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      
        .]

      
      
         7
      
        [ 
      
        0
      
      .  
      
        1
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        1
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      
        .]

      
      
         8
      
        [ 
      
        0
      
      .  
      
        0
      
      .  
      
        1
      
      .  
      
        1
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      
        .]

      
      
         9
      
        [ 
      
        0
      
      .  
      
        1
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        1
      
      
        .]

      
      
        10
      
        [ 
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        1
      
      .  
      
        1
      
      .  
      
        1
      
      .  
      
        0
      
      
        .]

      
      
        11
      
        [ 
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        1
      
      .  
      
        1
      
      .  
      
        1
      
      
        .]

      
      
        12
      
        [ 
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        0
      
      .  
      
        1
      
      .  
      
        1
      
      .]]
    

 對其進行分解后得到X=T*S*D T 。其中T為:

      
         1
      
       [-
      
        0.22
      
       -
      
        0.11
      
      
        0.29
      
       -
      
        0.41
      
       -
      
        0.11
      
       -
      
        0.34
      
       -
      
        0.52
      
      
        0.06
      
      
        0.41
      
      
        ]

      
      
         2
      
       [-
      
        0.2
      
        -
      
        0.07
      
      
        0.14
      
       -
      
        0.55
      
      
        0.28
      
      
        0.5
      
      
        0.07
      
      
        0.01
      
      
        0.11
      
      
        ]

      
      
         3
      
       [-
      
        0.24
      
      
        0.04
      
       -
      
        0.16
      
       -
      
        0.59
      
       -
      
        0.11
      
       -
      
        0.25
      
      
        0.3
      
        -
      
        0.06
      
       -
      
        0.49
      
      
        ]

      
      
         4
      
       [-
      
        0.4
      
      
        0.06
      
       -
      
        0.34
      
      
        0.1
      
      
        0.33
      
      
        0.38
      
       -
      
        0
      
      .    
      
        0
      
      .   -
      
        0.01
      
      
        ]

      
      
         5
      
       [-
      
        0.64
      
       -
      
        0.17
      
      
        0.36
      
      
        0.33
      
       -
      
        0.16
      
       -
      
        0.21
      
      
        0.17
      
       -
      
        0.03
      
       -
      
        0.27
      
      
        ]

      
      
         6
      
       [-
      
        0.27
      
      
        0.11
      
       -
      
        0.43
      
      
        0.07
      
      
        0.08
      
       -
      
        0.17
      
       -
      
        0.28
      
      
        0.02
      
      
        0.05
      
      
        ]

      
      
         7
      
       [-
      
        0.27
      
      
        0.11
      
       -
      
        0.43
      
      
        0.07
      
      
        0.08
      
       -
      
        0.17
      
       -
      
        0.28
      
      
        0.02
      
      
        0.05
      
      
        ]

      
      
         8
      
       [-
      
        0.3
      
        -
      
        0.14
      
      
        0.33
      
      
        0.19
      
      
        0.11
      
      
        0.27
      
       -
      
        0.03
      
      
        0.02
      
      
        0.17
      
      
        ]

      
      
         9
      
       [-
      
        0.21
      
      
        0.27
      
       -
      
        0.18
      
       -
      
        0.03
      
       -
      
        0.54
      
      
        0.08
      
      
        0.47
      
      
        0.04
      
      
        0.58
      
      
        ]

      
      
        10
      
       [-
      
        0.01
      
      
        0.49
      
      
        0.23
      
      
        0.02
      
      
        0.59
      
       -
      
        0.39
      
      
        0.29
      
       -
      
        0.25
      
      
        0.23
      
      
        ]

      
      
        11
      
       [-
      
        0.04
      
      
        0.62
      
      
        0.22
      
      
        0
      
      .   -
      
        0.07
      
      
        0.11
      
       -
      
        0.16
      
      
        0.68
      
       -
      
        0.23
      
      
        ]

      
      
        12
      
       [-
      
        0.03
      
      
        0.45
      
      
        0.14
      
       -
      
        0.01
      
       -
      
        0.3
      
      
        0.28
      
       -
      
        0.34
      
       -
      
        0.68
      
       -
      
        0.18
      
      ]
    

? D T

      
        1
      
       [-
      
        0.2
      
        -
      
        0.61
      
       -
      
        0.46
      
       -
      
        0.54
      
       -
      
        0.28
      
       -
      
        0
      
      .   -
      
        0.01
      
       -
      
        0.02
      
       -
      
        0.08
      
      
        ]

      
      
        2
      
       [-
      
        0.06
      
      
        0.17
      
       -
      
        0.13
      
       -
      
        0.23
      
      
        0.11
      
      
        0.19
      
      
        0.44
      
      
        0.62
      
      
        0.53
      
      
        ]

      
      
        3
      
       [ 
      
        0.11
      
       -
      
        0.5
      
      
        0.21
      
      
        0.57
      
       -
      
        0.51
      
      
        0.1
      
      
        0.19
      
      
        0.25
      
      
        0.08
      
      
        ]

      
      
        4
      
       [-
      
        0.95
      
       -
      
        0.03
      
      
        0.04
      
      
        0.27
      
      
        0.15
      
      
        0.02
      
      
        0.02
      
      
        0.01
      
       -
      
        0.02
      
      
        ]

      
      
        5
      
       [ 
      
        0.05
      
       -
      
        0.21
      
      
        0.38
      
       -
      
        0.21
      
      
        0.33
      
      
        0.39
      
      
        0.35
      
      
        0.15
      
       -
      
        0.6
      
      
         ]

      
      
        6
      
       [-
      
        0.08
      
       -
      
        0.26
      
      
        0.72
      
       -
      
        0.37
      
      
        0.03
      
       -
      
        0.3
      
        -
      
        0.21
      
      
        0
      
      .    
      
        0.36
      
      
        ]

      
      
        7
      
       [-
      
        0.18
      
      
        0.43
      
      
        0.24
      
       -
      
        0.26
      
       -
      
        0.67
      
      
        0.34
      
      
        0.15
      
       -
      
        0.25
      
       -
      
        0.04
      
      
        ]

      
      
        8
      
       [ 
      
        0.01
      
       -
      
        0.05
      
       -
      
        0.01
      
      
        0.02
      
      
        0.06
      
       -
      
        0.45
      
      
        0.76
      
       -
      
        0.45
      
      
        0.07
      
      
        ]

      
      
        9
      
       [ 
      
        0.06
      
       -
      
        0.24
      
       -
      
        0.02
      
      
        0.08
      
      
        0.26
      
      
        0.62
      
       -
      
        0.02
      
       -
      
        0.52
      
      
        0.45
      
      ]
    

? Sigma為

      
        1
      
       [ 
      
        3.34
      
      
        2
      
      
        2.54
      
      
        3
      
      
        2.35
      
      
        4
      
      
        1.64
      
      
        5
      
      
        1.50
      
      
        6
      
      
        1.31
      
      
        7
      
      
        0.85
      
      
        8
      
      
        0.56
      
      
        9
      
      
        0.36]
      
    

? 我們只保留最大的2個奇異值和其對應的奇異向量,得到的T’為

      
         1
      
       [-
      
        0.22
      
       -
      
        0.11
      
      
        ]

      
      
         2
      
       [-
      
        0.2
      
        -
      
        0.07
      
      
        ]

      
      
         3
      
       [-
      
        0.24
      
      
        0.04
      
      
        ]

      
      
         4
      
       [-
      
        0.4
      
      
        0.06
      
      
        ]

      
      
         5
      
       [-
      
        0.64
      
       -
      
        0.17
      
      
        ]

      
      
         6
      
       [-
      
        0.27
      
      
        0.11
      
      
        ]

      
      
         7
      
       [-
      
        0.27
      
      
        0.11
      
      
        ]

      
      
         8
      
       [-
      
        0.3
      
        -
      
        0.14
      
      
        ]

      
      
         9
      
       [-
      
        0.21
      
      
        0.27
      
      
        ]

      
      
        10
      
       [-
      
        0.01
      
      
        0.49
      
      
        ]

      
      
        11
      
       [-
      
        0.04
      
      
        0.62
      
      
        ]

      
      
        12
      
       [-
      
        0.03
      
      
        0.45
      
      ]
    

? D’ T

      
        1
      
       [-
      
        0.2
      
        -
      
        0.61
      
       -
      
        0.46
      
       -
      
        0.54
      
       -
      
        0.28
      
       -
      
        0
      
      .   -
      
        0.01
      
       -
      
        0.02
      
       -
      
        0.08
      
      
        ]

      
      
        2
      
       [-
      
        0.06
      
      
        0.17
      
       -
      
        0.13
      
       -
      
        0.23
      
      
        0.11
      
      
        0.19
      
      
        0.44
      
      
        0.62
      
      
        0.53
      
      ]
    

? Sigma’為

      
        1
      
       [[ 
      
        3.34
      
      
        0
      
      
        .    ]

      
      
        2
      
        [ 
      
        0
      
      .          
      
        2.54
      
        ]]
    

? 還原后的X’為

      
         1
      
       [ 
      
        0.16
      
      
        0.4
      
      
        0.38
      
      
        0.47
      
      
        0.18
      
       -
      
        0.05
      
       -
      
        0.12
      
       -
      
        0.16
      
       -
      
        0.09
      
      
        ]

      
      
         2
      
       [ 
      
        0.14
      
      
        0.37
      
      
        0.33
      
      
        0.4
      
      
        0.16
      
       -
      
        0.03
      
       -
      
        0.07
      
       -
      
        0.1
      
        -
      
        0.04
      
      
        ]

      
      
         3
      
       [ 
      
        0.15
      
      
        0.51
      
      
        0.36
      
      
        0.41
      
      
        0.24
      
      
        0.02
      
      
        0.06
      
      
        0.09
      
      
        0.12
      
      
        ]

      
      
         4
      
       [ 
      
        0.26
      
      
        0.84
      
      
        0.61
      
      
        0.7
      
      
        0.39
      
      
        0.03
      
      
        0.08
      
      
        0.12
      
      
        0.19
      
      
        ]

      
      
         5
      
       [ 
      
        0.45
      
      
        1.23
      
      
        1.05
      
      
        1.27
      
      
        0.56
      
       -
      
        0.07
      
       -
      
        0.15
      
       -
      
        0.21
      
       -
      
        0.05
      
      
        ]

      
      
         6
      
       [ 
      
        0.16
      
      
        0.58
      
      
        0.38
      
      
        0.42
      
      
        0.28
      
      
        0.06
      
      
        0.13
      
      
        0.19
      
      
        0.22
      
      
        ]

      
      
         7
      
       [ 
      
        0.16
      
      
        0.58
      
      
        0.38
      
      
        0.42
      
      
        0.28
      
      
        0.06
      
      
        0.13
      
      
        0.19
      
      
        0.22
      
      
        ]

      
      
         8
      
       [ 
      
        0.22
      
      
        0.55
      
      
        0.51
      
      
        0.63
      
      
        0.24
      
       -
      
        0.07
      
       -
      
        0.14
      
       -
      
        0.2
      
        -
      
        0.11
      
      
        ]

      
      
         9
      
       [ 
      
        0.1
      
      
        0.53
      
      
        0.23
      
      
        0.21
      
      
        0.27
      
      
        0.14
      
      
        0.31
      
      
        0.44
      
      
        0.42
      
      
        ]

      
      
        10
      
       [-
      
        0.06
      
      
        0.23
      
       -
      
        0.14
      
       -
      
        0.27
      
      
        0.14
      
      
        0.24
      
      
        0.55
      
      
        0.77
      
      
        0.66
      
      
        ]

      
      
        11
      
       [-
      
        0.06
      
      
        0.34
      
       -
      
        0.15
      
       -
      
        0.3
      
      
        0.2
      
      
        0.31
      
      
        0.69
      
      
        0.98
      
      
        0.85
      
      
        ]

      
      
        12
      
       [-
      
        0.04
      
      
        0.25
      
       -
      
        0.1
      
        -
      
        0.21
      
      
        0.15
      
      
        0.22
      
      
        0.5
      
      
        0.71
      
      
        0.62
      
      ]
    

? 還原后的X’與X差別很大,這是因為我們認為之前X存在很大的噪音,X’是對X處理過同義詞和多義詞后的結(jié)果。

? 在 查詢 時,對與每個給定的查詢,我們根據(jù)這個查詢中包含的單詞(X q )構(gòu)造一個偽文檔:D q =X q TS -1 ,然后該偽文檔和D’中的每一行計算相似度(余弦相似度)來得到和給定查詢最相似的文檔。

?參考文獻:

? [1] ?Indexing By Latent Semantic Analysis. Scott Deerwester, Susan T. Dumais, George W.Furnas, Thomas K.Landauer, Richard Harshman.

? [2] ?Latent Semantic Analysis Note. Zhou Li.

Latent Semantic Analysis(LSA/ LSI)算法簡介


更多文章、技術(shù)交流、商務合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 96精品国产高清在线看入口 | 女女女女女女bbbbbb级毛片 | 综合精品一区 | 夜夜夜夜夜操 | 亚洲国产免费 | 亚洲国产成人久久精品hezyo | 国产精品99久久免费观看 | 久久精品国产69国产精品亚洲 | 国产一级持黄大片99久久 | 国产一区二区亚洲精品天堂 | 国产亚洲精aa在线观看香蕉 | 久久精品国产99国产精品 | 亚洲麻豆视频 | 一区二区在线视频 | www.夜夜| 欧美成人性色大片在线观看 | 日日夜夜天天干 | 亚洲免费精品视频 | 久久精品中文 | 国产精品久久久精品视频 | 欧美色视频日本片免费高清 | 欧美极品福利视频在线播放 | 毛片在线免费视频 | 中文亚洲欧美 | 国产精品高清一区二区不卡 | 国产高清一区二区三区 | 四虎免费在线观看视频 | 亚洲国产日韩欧美 | 日日爱夜夜操 | 夜夜爽夜夜| 国产在线一91区免费国产91 | 久热中文字幕在线精品免费 | 国产成人永久免费视 | 天天插日日操 | 国产欧美日韩第一页 | 欧美顶级毛片在线播放 | 久青草视频在线播放 | 欧美日韩中字 | 四虎影院免费在线 | 欧美色精品 | 色好看在线视频播放 |