亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python設置檢查點簡單實現代碼

系統 1854 0

說檢查點,其實就是對過去歷史的記錄,可以認為是log.不過這里進行了簡化.舉例來說,我現在又一段文本.文本里放有一堆堆的鏈接地址.我現在的任務是下載那些地址中的內容.另外因為網絡的問題或者網站的問題,每次下載可能不會非常的成功.有可能出現斷鏈或者socket異常錯誤。不過不管產生什么樣的錯誤,我都希望我的程序能夠一直跑下去。或者能停掉后,繼續從為下載的鏈接處跑。而不是從開始的地方跑。這個問題非常簡單。因為這些鏈接是上下文無關的(上下文有關的情況要另外分析)。所以我只要記錄程序運行停止前的最后一條,就有希望能夠延續前面的工作。這里實現中使用的是記錄原有的鏈接,大家也可以使用計數器的方法來記錄。代碼如下:

            
# 這個異常是原文本內容中未出現檢查點內容出現造成的  
class CheckPointMissContentError: 
  pass 
# 將文件讀取指針fd移至到檢查點對應的內容處  
# check point 的規則為,讀取文件一行或者多行,進行操作后,將此一行或多行送入  
# 檢查文件check_point中。以后再次運行程序,即可從該檢查點處繼續運行。  
def GoCheckPoint(fd,check_point): 
  if not os.path.isfile(check_point): 
    f_check = open(check_point,'w') 
    f_check.close() 
  f_check = open(check_point,'r') 
  lines = f_check.readlines() 
  if len(lines) > 0: 
    check_content = lines[-1] #找到檢查點最后一行  
    check_content = check_content.strip(' /n/r') 
    # go to check point  
    while True: 
      content = fd.readline() 
      if content == '': # eof  
        raise CheckPointMissContentError 
      if content.strip(' /n/r') == check_content: 
        break 
         
  f_check.close()#關閉檢查點 
          

有了上面一段還是不夠的,需要下面的代碼補充:

            
# 偽代碼  
def Download(downloadlist,sleep_time): 
   
  if os.path.isfile(downloadlist): 
    f = open(downloadlist) 
    # check_point file name,這里為自動生成一個檢查點文件  
    check_point = file[0:file.rfind('.')]+'_check.txt' 
    Util.GoCheckPoint(f,check_point) #這就是上面代碼中的GoCheckPoint函數  
    f_check = open(check_point,'a')# 以追加方式寫入  
     
    try: 
      while True: 
        content = f.readline() 
        if content == '': # eof  
          break 
        content = content.strip(' /n/r') 
        if content != '': 
          # has download url  
          time.sleep(sleep_time) 
          DownloadOper(path,url) #這里是偽代碼..可以認為是urllib.request.retrieve()函數或者是urllib.request.urlopen()啥的  
        # 作為響應的操作后再將內容寫入檢查點文件  
          f_check.write(content+'/n') 
          f_check.flush() # 必須的,否則會緩存,不會寫入硬盤中  
    except : # 蹦個異常也不怕,以后再次按F5執行即可  
      raise Exception() 
      return Util.FAILURE # 這是我設置的常量,大家認為是0或者1就可以了  
    finally: 
      f.close() 
      f_check.close()# 關閉文件  
    print('Downloading is done........................') 
    return Util.SUCCESS 
          

執行完操作之后再寫入到檢查點文件中。以后程序掛掉,只要檢查點文件還在,就可以延續前面的工作。不過這里的檢查點相對于數據庫中事務處理的檢查點還是太簡單了點。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 在线播放色 | 国产精品欧美亚洲韩国日本99 | a毛片免费播放全部完整 | 男女污污在线观看 | 日本欧美一区二区三区 | 成人毛片18岁女人毛片免费看 | 夜夜夜爽爽爽久久久 | 精品日产一区二区 | 国产一区 在线视频 | 男人天堂视频在线 | 九九热网| 色综合久久精品中文字幕 | 久久女同互慰一区二区三区 | 色八a级在线观看 | 欧美乱大交xxxxx在线观看 | 亚洲综合久久久久久888 | 久草在线在线精品观看 | 天天想夜夜操 | 最新四虎4hu影库地址在线 | 国产亚洲精品国产一区 | 日韩不卡一区二区三区 | 久久最新免费视频 | 亚洲第一页色 | 日韩欧美视频一区二区在线观看 | 精品在线免费视频 | 久久青| 天天上天天干 | 亚洲 欧美 卡通 在线 另类 | 国产成人一区二区三区免费观看 | 亚洲国产伦理 | 久久国产精品免费一区二区三区 | 成人a视频片在线观看免费 成人a视频在线观看 | 日日摸夜夜摸狠狠摸97 | 2020久久国产精品福利 | 九九热精品在线 | 老子影院午夜伦手机不四虎 | 精品国产乱码久久久久久浪潮 | 2021久久最新国产精品 | 欧美日本一级在线播放 | 天天操天天看 | 中文字幕av在线 |