亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python爬取妹子圖

系統(tǒng) 1635 0

爬蟲成果

Python爬取妹子圖_第1張圖片
當(dāng)你運(yùn)行代碼后,文件夾就會越來越多,如果爬完的話會有2000多個(gè)文件夾,20000多張圖片。不過會很耗時(shí)間,可以在最后的代碼設(shè)置爬取頁碼范圍。

本文目標(biāo)

  • 熟悉 Requests 庫,
  • Beautiful Soup 庫 熟悉多線程爬取
  • 送福利,妹子圖

網(wǎng)站結(jié)構(gòu)

我們從 http://meizitu.com/a/more_1.html 這個(gè)鏈接進(jìn)去,界面如圖一所示

圖一:
Python爬取妹子圖_第2張圖片
可以看到是一組一組的套圖,點(diǎn)擊任何一組圖片會進(jìn)入到詳情界面,如圖二所示

圖二:

可以看到圖片是依次排開的,一般會有十張左右的圖片。

實(shí)現(xiàn)思路

看了界面的結(jié)構(gòu),那么我們的思路就有了。

  1. 構(gòu)造 url 鏈接,去請求圖一所示的套圖列表界面,拿到每一個(gè)頁面中的套圖列表。
  2. 分別進(jìn)入每個(gè)套圖中去,下載相應(yīng)的圖片。

代碼說明

1、下載界面的函數(shù),利用 Requests 很方便實(shí)現(xiàn)。

            
              def download_page(url):
    '''
    用于下載頁面
    '''
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, headers=headers)
    r.encoding = 'gb2312'
    return r.text

            
          

2、獲取圖一所示的所有套圖列表,函數(shù)中 link 表示套圖的鏈接,text表示套圖的名字

            
              def get_pic_list(html):
    '''
    獲取每個(gè)頁面的套圖列表,之后循環(huán)調(diào)用get_pic函數(shù)獲取圖片
    '''
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find_all('li', class_='wp-item')
    for i in pic_list:
        a_tag = i.find('h3', class_='tit').find('a')
        link = a_tag.get('href')  # 套圖鏈接
        text = a_tag.get_text()   # 套圖名字
        get_pic(link, text)

            
          

3、傳入上一步中獲取到的套圖鏈接及套圖名字,獲取每組套圖里面的圖片,并保存,我在代碼中注釋了。

            
              def get_pic(link, text):
    '''
    獲取當(dāng)前頁面的圖片,并保存
    '''
    html = download_page(link)  # 下載界面
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir('pic/{}'.format(text))
    for i in pic_list:
        pic_link = i.get('src')  # 拿到圖片的具體 url
        r = requests.get(pic_link, headers=headers)  # 下載圖片,之后保存到文件
        with open('pic/{}/{}'.format(text, pic_link.split('/')[-1]), 'wb') as f:
            f.write(r.content)
            time.sleep(1)

            
          

完整代碼

完整代碼如下,包括了創(chuàng)建文件夾,利用多線程爬取,我設(shè)置的是5個(gè)線程,可以根據(jù)自己機(jī)器自己來設(shè)置一下。

            
              import requests
import os
import time
import threading
from bs4 import BeautifulSoup
'''
遇到不懂的問題?Python學(xué)習(xí)交流群:821460695滿足你的需求,資料都已經(jīng)上傳群文件,可以自行下載!
'''

def download_page(url):
    '''
    用于下載頁面
    '''
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, headers=headers)
    r.encoding = 'gb2312'
    return r.text


def get_pic_list(html):
    '''
    獲取每個(gè)頁面的套圖列表,之后循環(huán)調(diào)用get_pic函數(shù)獲取圖片
    '''
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find_all('li', class_='wp-item')
    for i in pic_list:
        a_tag = i.find('h3', class_='tit').find('a')
        link = a_tag.get('href')
        text = a_tag.get_text()
        get_pic(link, text)


def get_pic(link, text):
    '''
    獲取當(dāng)前頁面的圖片,并保存
    '''
    html = download_page(link)  # 下載界面
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir('pic/{}'.format(text))
    for i in pic_list:
        pic_link = i.get('src')  # 拿到圖片的具體 url
        r = requests.get(pic_link, headers=headers)  # 下載圖片,之后保存到文件
        with open('pic/{}/{}'.format(text, pic_link.split('/')[-1]), 'wb') as f:
            f.write(r.content)
            time.sleep(1)   # 休息一下,不要給網(wǎng)站太大壓力,避免被封


def create_dir(name):
    if not os.path.exists(name):
        os.makedirs(name)


def execute(url):
    page_html = download_page(url)
    get_pic_list(page_html)


def main():
    create_dir('pic')
    queue = [i for i in range(1, 72)]   # 構(gòu)造 url 鏈接 頁碼。
    threads = []
    while len(queue) > 0:
        for thread in threads:
            if not thread.is_alive():
                threads.remove(thread)
        while len(threads) < 5 and len(queue) > 0:   # 最大線程數(shù)設(shè)置為 5
            cur_page = queue.pop(0)
            url = 'http://meizitu.com/a/more_{}.html'.format(cur_page)
            thread = threading.Thread(target=execute, args=(url,))
            thread.setDaemon(True)
            thread.start()
            print('{}正在下載{}頁'.format(threading.current_thread().name, cur_page))
            threads.append(thread)


if __name__ == '__main__':
    main()

            
          

更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 欧美激情免费看 | 2020久久精品国产免费 | 苦瓜se影院在线视频网站 | 中国日韩欧美中文日韩欧美色 | 欧美三级做爰在线 | 四虎国产精品免费观看 | 国产欧美综合在线一区二区三区 | 久草久草视频 | 亚洲国产成人资源在线桃色 | 成人毛片在线视频 | 欧美成人国产一区二区 | 国产成人亚洲精品77 | 奇米四色视频 | 精品久久久久久久一区二区手机版 | 青草青草久热精品视频在线观看 | 视频一区色眯眯视频在线 | 婷婷色基地 | 四房婷婷在线视频播放 | 深夜男人影院 | 99福利在线| 久久国产精品麻豆映画 | 精品一区二区日本高清 | 久久黄色网 | 色综合视频在线观看 | 黄色毛片大全 | 婷婷久久五月天 | 亚洲成a人片在线观看精品 亚洲成a人一区二区三区 | 豆国产97在线 | 亚洲 | 亚洲精品免费在线视频 | 神马我我不卡伦影视 | 99热精品在线播放 | 欧美伊香蕉久久综合类网站 | 色噜噜狠狠色综合免费视频 | 日本1区2区3区| 曰鲁夜鲁鲁狠狠综合 | 四虎永久免费在线观看 | 香蕉久久高清国产精品免费 | 国产a国产 | 伊人二区 | 亚洲精品久久成人福利 | 一本久久a久久精品vr综合 |