亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python基于queue和threading實現多線程下載實例

系統 1539 0

本文實例講述了python基于queue和threading實現多線程下載的方法,分享給大家供大家參考。具體方法如下:

主代碼如下:

            
  #download worker 
  queue_download = Queue.Queue(0) 
  DOWNLOAD_WORKERS = 20 
  for i in range(DOWNLOAD_WORKERS): 
    DownloadWorker(queue_download).start() #start a download worker 
     
  for md5 in MD5S: 
    queue_download.put(md5) 
  for i in range(DOWNLOAD_WORKERS): 
    queue_download.put(None) 


          

其中downloadworkers.py
類繼承 threading.Thread,重載run方法..在__init__中調用threading.Thread.__init__(self),
在run方法中實現耗時的操作

            
import threading 
import Queue 
import md5query 
import DOM 
import os,sys 

class DownloadWorker(threading.Thread): 
  """""" 
 

  def __init__(self, queue): 
    """Constructor""" 
    self.__queue = queue 
    threading.Thread.__init__(self) 
 
 
  def run(self): 
    while 1: 
      md5 = self.__queue.get() 
      if md5 is None: 
        break #reached end of queue 
      #this is a time-cost produce 
      self._down(md5) 
 
      print "task:", md5, "finished" 
 
  def _down(self, md5): 
    config = { 
      'input':sys.stdin,  
      'output':'./samples',  
      'location':'xxx',  
      'has-fn':False,  
      'options':{'connect.timeout':60, 'timeout':3600},  
      'log':file('logs.txt', 'w'),  
    } 
    print 'download %s...' % (md5) 
    try: 
      data = downloadproc(config['location'], config['options'])#我的下載過程 
      if data: 
        dom, fileData = md5query.splited(data) 
        filename = md5 
        if config['has-fn']: 
          filename = '%s_%s' % (md5, dom.nodeValue2('xxxxxxx', '').encode('utf-8'))#這是我的下載的方法 
        f = file(os.path.join(config['output'], filename), 'w') 
        f.write(fileData) 
        f.close() 
 
        print '%s\tok' % (md5) 
      else: 
        print>>config['log'], '%s\t%s' % (md5, 'failed') 
    except Exception, e: 
      print>>config['log'], '%s\t%s' % (md5, str(e))


          

希望本文所述對大家的Python程序設計有所幫助。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 伊人久久大杳蕉综合大象 | 91国内在线国内在线播放 | 国产专区自拍 | 看全色黄大色黄大片 视 | 精品在线免费视频 | 奇米影视8888 | 99热久久国产精品这 | 久久综合中文字幕 | 奇米影视四色中文字幕 | 草久视频 | 亚洲欧美专区精品久久 | 欧美国产精品亚洲精品第一区 | 在线a亚洲视频播放在线观看 | 日韩精品欧美亚洲高清有无 | 国产精品亚洲欧美日韩一区在线 | 久久亚洲伊人中字综合精品 | 中文视频在线观看 | 国内精品视频一区二区三区八戒 | 99视频久久 | 激情91| 日本欧美一区二区三区在线观看 | 卡通动漫亚洲综合 | 日本一级欧美一级中文 | 国产69精品久久久久999三级 | 亚洲精品啪啪一区二区三区 | 99在线视频免费 | 欧美亚洲一区二区三区在线 | 欧美精品aaa久久久影院 | 精品综合久久久久久98 | 女人洗澡一级毛片一级毛片 | 国产视频毛片 | 国产精品亚洲综合色拍 | 亚洲欧美一区二区三区九九九 | 亚洲女人国产香蕉久久精品 | 亚洲一区二区福利视频 | 国产成人午夜性视频影院 | 91麻豆精品国产91久久久久久 | 国产综合久久久久久鬼色 | 中文字幕天天躁夜夜狠狠综合 | 日本1区2区 | 亚洲欧美日韩在线 |