亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

在Python上基于Markov鏈生成偽隨機文本的教程

系統 1608 0

?首先看一下來自Wolfram的定義

??? 馬爾可夫鏈是隨機變量{X_t}的集合(t貫穿0,1,...),給定當前的狀態,未來與過去條件獨立。

Wikipedia的定義更清楚一點兒

??? ...馬爾可夫鏈是具有馬爾可夫性質的隨機過程...[這意味著]狀態改變是概率性的,未來的狀態僅僅依賴當前的狀態。

馬爾可夫鏈具有多種用途,現在讓我看一下如何用它生產看起來像模像樣的胡言亂語。

算法如下,

  1. ??? 找一個作為語料庫的文本,語料庫用于選擇接下來的轉換。
  2. ??? 從文本中兩個連續的單詞開始,最后的兩個單詞構成當前狀態。
  3. ??? 生成下一個單詞的過程就是馬爾可夫轉換。為了生成下一個單詞,首先查看語料庫,查找這兩個單詞之后跟著的單詞。從它們中隨機選擇一個。
  4. ??? 重復2,直到生成的文本達到需要的大小。


代碼如下
?

            
import random
 
class Markov(object):
  
 def __init__(self, open_file):
  self.cache = {}
  self.open_file = open_file
  self.words = self.file_to_words()
  self.word_size = len(self.words)
  self.database()
   
  
 def file_to_words(self):
  self.open_file.seek(0)
  data = self.open_file.read()
  words = data.split()
  return words
   
  
 def triples(self):
  """ Generates triples from the given data string. So if our string were
    "What a lovely day", we'd generate (What, a, lovely) and then
    (a, lovely, day).
  """
   
  if len(self.words) < 3:
   return
   
  for i in range(len(self.words) - 2):
   yield (self.words[i], self.words[i+1], self.words[i+2])
    
 def database(self):
  for w1, w2, w3 in self.triples():
   key = (w1, w2)
   if key in self.cache:
    self.cache[key].append(w3)
   else:
    self.cache[key] = [w3]
     
 def generate_markov_text(self, size=25):
  seed = random.randint(0, self.word_size-3)
  seed_word, next_word = self.words[seed], self.words[seed+1]
  w1, w2 = seed_word, next_word
  gen_words = []
  for i in xrange(size):
   gen_words.append(w1)
   w1, w2 = w2, random.choice(self.cache[(w1, w2)])
  gen_words.append(w2)
  return ' '.join(gen_words)

          

為了看到一個示例結果,我們從古騰堡計劃中拿了沃德豪斯的《My man jeeves》作為文本,示例結果如下。
?

            
In [1]: file_ = open('/home/shabda/jeeves.txt')
 
In [2]: import markovgen
 
In [3]: markov = markovgen.Markov(file_)
 
In [4]: markov.generate_markov_text()
Out[4]: 'Can you put a few years of your twin-brother Alfred,
who was apt to rally round a bit. I should strongly advocate
the blue with milk'

          

[如果想執行這個例子,請下載jeeves.txt和markovgen.py
馬爾可夫算法怎樣呢?

  • ??? 最后兩個單詞是當前狀態。
  • ??? 接下來的單詞僅僅依賴最后兩個單詞,也就是當前狀態。
  • ??? 接下來的單詞是從語料庫的統計模型中隨機選擇的。

這是一個示例文本。

復制代碼 代碼如下:
"The quick brown fox jumps over the brown fox who is slow jumps over the brown fox who is dead."

這個文本對應的語料庫像這樣,
?

            
{('The', 'quick'): ['brown'],
 ('brown', 'fox'): ['jumps', 'who', 'who'],
 ('fox', 'jumps'): ['over'],
 ('fox', 'who'): ['is', 'is'],
 ('is', 'slow'): ['jumps'],
 ('jumps', 'over'): ['the', 'the'],
 ('over', 'the'): ['brown', 'brown'],
 ('quick', 'brown'): ['fox'],
 ('slow', 'jumps'): ['over'],
 ('the', 'brown'): ['fox', 'fox'],
 ('who', 'is'): ['slow', 'dead.']}

          

現在如果我們從"brown fox"開始,接下來的單詞可以是"jumps"或者"who"。如果我們選擇"jumps",然后當前的狀態就變成了"fox jumps",再接下的單詞就是"over",之后依此類推。

提示

  • ??? 我們選擇的文本越大,每次轉換的選擇更多,生成的文本更好看。
  • ??? 狀態可以設置為依賴一個單詞、兩個單詞或者任意數量的單詞。隨著每個狀態的單詞數的增加,生成的文本更不隨機。
  • ??? 不要去掉標點符號等。它們會使語料庫更具代表性,隨機文本更好看。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。。?/p>

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 日本aⅴ永久免费网站www | 九九热视频在线 | 日韩成人影视 | 欧美国产亚洲精品高清不卡 | ass曰本人乱妇ass | 国产午夜永久福利视频在线观看 | 亚洲精品一区二区深夜福利 | 婷婷的五月 | 亚洲成a人v欧美综合天 | 2018天天干天天操 | 欧美成人另类 | 最新亚洲精品国自产在线 | 99爱国产 | 午夜论坛 | 欧美人与zoxxxx另类9 | 99热免费观看 | 天天在线干 | 国产精品久久国产精麻豆99网站 | 国产男女xoxo在线视频 | 亚洲 欧美 另类 天天更新影院 | 9i9精品国产免费久久 | 玖玖中文 | 亚洲精品美女视频 | 美女女女女女女bbbbbb毛片 | 看全色黄大色大片免费久黄久 | 国内精品久久久久影院免费 | 波多野结衣国产精品 | 天天操天天透 | 婷婷色国产 | 99热久久国产精品免费看 | 婷婷婷色| 成年午夜视频免费观看视频 | 亚洲欧美另类图片 | 青春草国产成人精品久久 | 国产呦系列呦交 | 国产成人aa在线观看视频 | a级毛片毛片免费观看久潮 a级毛片免费 | 99久视频| 久久综合久久伊人 | 久久青 | 亚洲精品免费在线视频 |