本文主要介紹的是關(guān)于Python利用requests模塊下載圖片的相關(guān),下面話不多說了,來一起看看詳細(xì)的介紹吧
MySQL中事先保存好爬取到的圖片鏈接地址。
然后使用多線程把圖片下載到本地。
示例代碼:
# coding: utf-8 import MySQLdb import requests import os import re from threading import Thread import datetime header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/63.0.3239.132 Safari/537.36'} file_path = 'F:\\mlu2' if not os.path.exists(file_path): os.mkdir(file_path) class Spider(object): def __init__(self, file_path, header): self.file_path = file_path self.header = header @staticmethod def timer(func): def time_count(*args): start_time = datetime.datetime.now() func(*args) end_time = datetime.datetime.now() day = (end_time - start_time).days times = (end_time - start_time).seconds hour = times / 3600 h = times % 3600 minute = h / 60 m = h % 60 second = m print "爬取完成" print "一共用時(shí)%s天%s時(shí)%s分%s秒" % (day, hour, minute, second) return time_count def get_link(self): conn = MySQLdb.connect(host='localhost', port=3306, user='root', passwd='729814', db='mlu', charset='utf8') cur = conn.cursor() sql = 'select image from msg limit 100' # image為事先爬取存到MySQL的圖片鏈接地址 cur.execute(sql) img_link = cur.fetchall() return img_link def download(self, link): filename = re.findall(r'.*/(.+)', link)[0] try: pic = requests.get(link, headers=self.header) if pic.status_code == 200: with open(os.path.join(self.file_path)+os.sep+filename, 'wb') as fp: fp.write(pic.content) fp.close() print "下載完成" except Exception as e: print e @timer def run_main(self): threads = [] links = self.get_link() for link in links: img = str(link[0]) t = Thread(target=self.download, args=[img]) t.start() threads.append(t) for t in threads: t.join() spider = Spider(file_path, header) spider.run_main()
總結(jié)
以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)腳本之家的支持。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
