亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python爬取視頻(其實是一篇福利)過程解析

系統 1644 0

窗外下著小雨,作為單身程序員的我逛著逛著發現一篇好東西,來自知乎 你都用 Python 來做什么?的第一個高亮答案。

到上面去看了看,地址都是明文的,得,趕緊開始吧。

下載流式文件,requests庫中請求的stream設為True就可以啦,文檔在此。

先找一個視頻地址試驗一下:

            
# -*- coding: utf-8 -*-
import requests 
def download_file(url, path):
  with requests.get(url, stream=True) as r:
    chunk_size = 1024
    content_size = int(r.headers['content-length'])
    print '下載開始'
    with open(path, "wb") as f:
      for chunk in r.iter_content(chunk_size=chunk_size):
        f.write(chunk) 
if __name__ == '__main__':
  url = '就在原帖...'
  path = '想存哪都行'
  download_file(url, path)
          

遭遇當頭一棒:

            
AttributeError: __exit__
          

這文檔也會騙人的么!

看樣子是沒有實現上下文需要的__exit__方法。既然只是為了保證要讓r最后close以釋放連接池,那就使用contextlib的closing特性好了:

            
# -*- coding: utf-8 -*-
import requests
from contextlib import closing
 
def download_file(url, path):
  with closing(requests.get(url, stream=True)) as r:
    chunk_size = 1024
    content_size = int(r.headers['content-length'])
    print '下載開始'
    with open(path, "wb") as f:
      for chunk in r.iter_content(chunk_size=chunk_size):
        f.write(chunk)
          

程序正常運行了,不過我盯著這文件,怎么大小不見變啊,到底是完成了多少了呢?還是要讓下好的內容及時存進硬盤,還能省點內存是不是:

            
# -*- coding: utf-8 -*-
import requests
from contextlib import closing
import os
 
def download_file(url, path):
  with closing(requests.get(url, stream=True)) as r:
    chunk_size = 1024
    content_size = int(r.headers['content-length'])
    print '下載開始'
    with open(path, "wb") as f:
      for chunk in r.iter_content(chunk_size=chunk_size):
        f.write(chunk)
        f.flush()
        os.fsync(f.fileno())
          

文件以肉眼可見的速度在增大,真心疼我的硬盤,還是最后一次寫入硬盤吧,程序中記個數就好了:

            
def download_file(url, path):
  with closing(requests.get(url, stream=True)) as r:
    chunk_size = 1024
    content_size = int(r.headers['content-length'])
    print '下載開始'
    with open(path, "wb") as f:
      n = 1
      for chunk in r.iter_content(chunk_size=chunk_size):
        loaded = n*1024.0/content_size
        f.write(chunk)
        print '已下載{0:%}'.format(loaded)
        n += 1
          

結果就很直觀了:

            
已下載2.579129%
已下載2.581255%
已下載2.583382%
已下載2.585508%
          

心懷遠大理想的我怎么會只滿足于這一個呢,寫個類一起使用吧:

            
# -*- coding: utf-8 -*-
import requests
from contextlib import closing
import time 
def download_file(url, path):
  with closing(requests.get(url, stream=True)) as r:
    chunk_size = 1024*10
    content_size = int(r.headers['content-length'])
    print '下載開始'
    with open(path, "wb") as f:
      p = ProgressData(size = content_size, unit='Kb', block=chunk_size)
      for chunk in r.iter_content(chunk_size=chunk_size):
        f.write(chunk)
        p.output()
 
 
class ProgressData(object):
 
  def __init__(self, block,size, unit, file_name='', ):
    self.file_name = file_name
    self.block = block/1000.0
    self.size = size/1000.0
    self.unit = unit
    self.count = 0
    self.start = time.time()
  def output(self):
    self.end = time.time()
    self.count += 1
    speed = self.block/(self.end-self.start) if (self.end-self.start)>0 else 0
    self.start = time.time()
    loaded = self.count*self.block
    progress = round(loaded/self.size, 4)
    if loaded >= self.size:
      print u'%s下載完成\r\n'%self.file_name
    else:
      print u'{0}下載進度{1:.2f}{2}/{3:.2f}{4} 下載速度{5:.2%} {6:.2f}{7}/s'.\
         format(self.file_name, loaded, self.unit,\
         self.size, self.unit, progress, speed, self.unit)
      print '%50s'%('/'*int((1-progress)*50))
          

運行:

            
下載開始
下載進度10.24Kb/120174.05Kb 0.01% 下載速度4.75Kb/s
/////////////////////////////////////////////////
下載進度20.48Kb/120174.05Kb 0.02% 下載速度32.93Kb/s
/////////////////////////////////////////////////
          

看上去舒服多了。

下面要做的就是多線程同時下載了,主線程生產url放入隊列,下載線程獲取url:

            
# -*- coding: utf-8 -*-
import requests
from contextlib import closing
import time
import Queue
import hashlib
import threading
import os 
def download_file(url, path):
  with closing(requests.get(url, stream=True)) as r:
    chunk_size = 1024*10
    content_size = int(r.headers['content-length'])
    if os.path.exists(path) and os.path.getsize(path)>=content_size:
      print '已下載'
      return
    print '下載開始'
    with open(path, "wb") as f:
      p = ProgressData(size = content_size, unit='Kb', block=chunk_size, file_name=path)
      for chunk in r.iter_content(chunk_size=chunk_size):
        f.write(chunk)
        p.output()
 
class ProgressData(object):
 
  def __init__(self, block,size, unit, file_name='', ):
    self.file_name = file_name
    self.block = block/1000.0
    self.size = size/1000.0
    self.unit = unit
    self.count = 0
    self.start = time.time()
  def output(self):
    self.end = time.time()
    self.count += 1
    speed = self.block/(self.end-self.start) if (self.end-self.start)>0 else 0
    self.start = time.time()
    loaded = self.count*self.block
    progress = round(loaded/self.size, 4)
    if loaded >= self.size:
      print u'%s下載完成\r\n'%self.file_name
    else:
      print u'{0}下載進度{1:.2f}{2}/{3:.2f}{4} {5:.2%} 下載速度{6:.2f}{7}/s'.\
         format(self.file_name, loaded, self.unit,\
         self.size, self.unit, progress, speed, self.unit)
      print '%50s'%('/'*int((1-progress)*50))
 queue = Queue.Queue() 
def run():
  while True:
    url = queue.get(timeout=100)
    if url is None:
      print u'全下完啦'
      break
    h = hashlib.md5()
    h.update(url)
    name = h.hexdigest()
    path = 'e:/download/' + name + '.mp4'
    download_file(url, path) 
def get_url():
  queue.put(None)
if __name__ == '__main__':
  get_url()
  for i in xrange(4):
    t = threading.Thread(target=run)
    t.daemon = True
    t.start()
          

加了重復下載的判斷,至于怎么源源不斷的生產url,諸位摸索吧,保重身體!

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 国产九九免费视频 | 久久这里只有精品66 | 国产中文字幕一区 | 欧美jizzhd极品欧美 | 尹人久久久香蕉精品 | 9999热| 久久精品伊人 | 精品在线视频观看 | 国产成人精品免费影视大全 | 春色www在线视频观看 | 午夜精品久久久久久久90蜜桃 | 日本中文字幕不卡 | 最新男同志freevideos | 欧美成综合网网站 | 亚洲深夜在线 | 欧美一级暴毛片 | 亚洲图片欧美视频 | 日本3p视频在线看高清 | 亚洲国产精品成人综合久久久 | 国产欧美成人不卡视频 | 欧美成人精品第一区二区三区 | 久久精品国产精品亚洲红杏 | 久久久久久国产精品三级 | 99久久99久久久精品齐齐鬼色 | 国产精品亚洲综合一区在线观看 | 天天躁日日躁狠狠躁黑人躁 | 真人特级毛片免费视频 | 性视频一区二区三区免费 | 久久综合成人网 | 国内精品一区二区三区最新 | 亚洲精品图区 | 久久久久久综合成人精品 | 免费观看男女羞羞的视频网站 | 九九热视频免费在线观看 | 国产免费不卡v片在线观看 国产免费不卡视频 | 欧美日韩一区二区视频免费看 | 一区二区三区久久精品 | 国产成人精品亚洲日本在线 | 国产精品亚洲第一区广西莫菁 | 这里只有精品首页 | 日日摸夜夜夜夜夜添 |