亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python爬取視頻(其實是一篇福利)過程解析

系統 1644 0

窗外下著小雨,作為單身程序員的我逛著逛著發現一篇好東西,來自知乎 你都用 Python 來做什么?的第一個高亮答案。

到上面去看了看,地址都是明文的,得,趕緊開始吧。

下載流式文件,requests庫中請求的stream設為True就可以啦,文檔在此。

先找一個視頻地址試驗一下:

            
# -*- coding: utf-8 -*-
import requests 
def download_file(url, path):
  with requests.get(url, stream=True) as r:
    chunk_size = 1024
    content_size = int(r.headers['content-length'])
    print '下載開始'
    with open(path, "wb") as f:
      for chunk in r.iter_content(chunk_size=chunk_size):
        f.write(chunk) 
if __name__ == '__main__':
  url = '就在原帖...'
  path = '想存哪都行'
  download_file(url, path)
          

遭遇當頭一棒:

            
AttributeError: __exit__
          

這文檔也會騙人的么!

看樣子是沒有實現上下文需要的__exit__方法。既然只是為了保證要讓r最后close以釋放連接池,那就使用contextlib的closing特性好了:

            
# -*- coding: utf-8 -*-
import requests
from contextlib import closing
 
def download_file(url, path):
  with closing(requests.get(url, stream=True)) as r:
    chunk_size = 1024
    content_size = int(r.headers['content-length'])
    print '下載開始'
    with open(path, "wb") as f:
      for chunk in r.iter_content(chunk_size=chunk_size):
        f.write(chunk)
          

程序正常運行了,不過我盯著這文件,怎么大小不見變啊,到底是完成了多少了呢?還是要讓下好的內容及時存進硬盤,還能省點內存是不是:

            
# -*- coding: utf-8 -*-
import requests
from contextlib import closing
import os
 
def download_file(url, path):
  with closing(requests.get(url, stream=True)) as r:
    chunk_size = 1024
    content_size = int(r.headers['content-length'])
    print '下載開始'
    with open(path, "wb") as f:
      for chunk in r.iter_content(chunk_size=chunk_size):
        f.write(chunk)
        f.flush()
        os.fsync(f.fileno())
          

文件以肉眼可見的速度在增大,真心疼我的硬盤,還是最后一次寫入硬盤吧,程序中記個數就好了:

            
def download_file(url, path):
  with closing(requests.get(url, stream=True)) as r:
    chunk_size = 1024
    content_size = int(r.headers['content-length'])
    print '下載開始'
    with open(path, "wb") as f:
      n = 1
      for chunk in r.iter_content(chunk_size=chunk_size):
        loaded = n*1024.0/content_size
        f.write(chunk)
        print '已下載{0:%}'.format(loaded)
        n += 1
          

結果就很直觀了:

            
已下載2.579129%
已下載2.581255%
已下載2.583382%
已下載2.585508%
          

心懷遠大理想的我怎么會只滿足于這一個呢,寫個類一起使用吧:

            
# -*- coding: utf-8 -*-
import requests
from contextlib import closing
import time 
def download_file(url, path):
  with closing(requests.get(url, stream=True)) as r:
    chunk_size = 1024*10
    content_size = int(r.headers['content-length'])
    print '下載開始'
    with open(path, "wb") as f:
      p = ProgressData(size = content_size, unit='Kb', block=chunk_size)
      for chunk in r.iter_content(chunk_size=chunk_size):
        f.write(chunk)
        p.output()
 
 
class ProgressData(object):
 
  def __init__(self, block,size, unit, file_name='', ):
    self.file_name = file_name
    self.block = block/1000.0
    self.size = size/1000.0
    self.unit = unit
    self.count = 0
    self.start = time.time()
  def output(self):
    self.end = time.time()
    self.count += 1
    speed = self.block/(self.end-self.start) if (self.end-self.start)>0 else 0
    self.start = time.time()
    loaded = self.count*self.block
    progress = round(loaded/self.size, 4)
    if loaded >= self.size:
      print u'%s下載完成\r\n'%self.file_name
    else:
      print u'{0}下載進度{1:.2f}{2}/{3:.2f}{4} 下載速度{5:.2%} {6:.2f}{7}/s'.\
         format(self.file_name, loaded, self.unit,\
         self.size, self.unit, progress, speed, self.unit)
      print '%50s'%('/'*int((1-progress)*50))
          

運行:

            
下載開始
下載進度10.24Kb/120174.05Kb 0.01% 下載速度4.75Kb/s
/////////////////////////////////////////////////
下載進度20.48Kb/120174.05Kb 0.02% 下載速度32.93Kb/s
/////////////////////////////////////////////////
          

看上去舒服多了。

下面要做的就是多線程同時下載了,主線程生產url放入隊列,下載線程獲取url:

            
# -*- coding: utf-8 -*-
import requests
from contextlib import closing
import time
import Queue
import hashlib
import threading
import os 
def download_file(url, path):
  with closing(requests.get(url, stream=True)) as r:
    chunk_size = 1024*10
    content_size = int(r.headers['content-length'])
    if os.path.exists(path) and os.path.getsize(path)>=content_size:
      print '已下載'
      return
    print '下載開始'
    with open(path, "wb") as f:
      p = ProgressData(size = content_size, unit='Kb', block=chunk_size, file_name=path)
      for chunk in r.iter_content(chunk_size=chunk_size):
        f.write(chunk)
        p.output()
 
class ProgressData(object):
 
  def __init__(self, block,size, unit, file_name='', ):
    self.file_name = file_name
    self.block = block/1000.0
    self.size = size/1000.0
    self.unit = unit
    self.count = 0
    self.start = time.time()
  def output(self):
    self.end = time.time()
    self.count += 1
    speed = self.block/(self.end-self.start) if (self.end-self.start)>0 else 0
    self.start = time.time()
    loaded = self.count*self.block
    progress = round(loaded/self.size, 4)
    if loaded >= self.size:
      print u'%s下載完成\r\n'%self.file_name
    else:
      print u'{0}下載進度{1:.2f}{2}/{3:.2f}{4} {5:.2%} 下載速度{6:.2f}{7}/s'.\
         format(self.file_name, loaded, self.unit,\
         self.size, self.unit, progress, speed, self.unit)
      print '%50s'%('/'*int((1-progress)*50))
 queue = Queue.Queue() 
def run():
  while True:
    url = queue.get(timeout=100)
    if url is None:
      print u'全下完啦'
      break
    h = hashlib.md5()
    h.update(url)
    name = h.hexdigest()
    path = 'e:/download/' + name + '.mp4'
    download_file(url, path) 
def get_url():
  queue.put(None)
if __name__ == '__main__':
  get_url()
  for i in xrange(4):
    t = threading.Thread(target=run)
    t.daemon = True
    t.start()
          

加了重復下載的判斷,至于怎么源源不斷的生產url,諸位摸索吧,保重身體!

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 国产欧美亚洲精品第二区首页 | 亚洲国产一区在线二区三区 | 精品国产免费第一区二区三区日韩 | 精品视频在线播放 | 欧美一级毛片免费观看视频 | 天天看片天天爽 | 九九精品免视看国产成人 | 日韩精品一区二区三区高清 | 一级特级aaa毛片 | 久久国产视频精品 | 香蕉福利久久福利久久香蕉 | 亚洲涩福利高清在线 | 国产特级毛片aaaaaaa高清 | 欧美成人久久久免费播放 | 97av麻豆蜜桃一区二区 | 九九99精品| 色婷婷综合欧美成人 | 亚洲国产成人精品女人久久久 | 奇米777视频国产 | 成年女人免费看片 | 国产精品亚洲精品 | 色狠狠一区二区三区香蕉蜜桃 | 亚洲精品区一区二区三区四 | 国产剧情一区二区 | 欧美成人69| 亚洲欧美动漫 | 婷婷99精品国产97久久综合 | 亚洲精品视频免费观看 | 精品新一区二区三区四区 | 一七六九1769视频免费观看 | 久操视频在线播放 | 久久厕所精品国产精品亚洲 | 在线看片不卡 | 日本无翼乌全彩无遮挡动漫 | 日韩有码在线视频 | 亚洲国产精品久久久久婷婷软件 | 免费大片黄在线观看yw | 精品国产香蕉 | 日韩毛片免费线上观看 | 欧洲国产伦久久久久久久 | 毛片永久新网址首页 |