亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python爬取妹子圖

系統(tǒng) 1635 0

爬蟲成果

Python爬取妹子圖_第1張圖片
當(dāng)你運(yùn)行代碼后,文件夾就會越來越多,如果爬完的話會有2000多個(gè)文件夾,20000多張圖片。不過會很耗時(shí)間,可以在最后的代碼設(shè)置爬取頁碼范圍。

本文目標(biāo)

  • 熟悉 Requests 庫,
  • Beautiful Soup 庫 熟悉多線程爬取
  • 送福利,妹子圖

網(wǎng)站結(jié)構(gòu)

我們從 http://meizitu.com/a/more_1.html 這個(gè)鏈接進(jìn)去,界面如圖一所示

圖一:
Python爬取妹子圖_第2張圖片
可以看到是一組一組的套圖,點(diǎn)擊任何一組圖片會進(jìn)入到詳情界面,如圖二所示

圖二:

可以看到圖片是依次排開的,一般會有十張左右的圖片。

實(shí)現(xiàn)思路

看了界面的結(jié)構(gòu),那么我們的思路就有了。

  1. 構(gòu)造 url 鏈接,去請求圖一所示的套圖列表界面,拿到每一個(gè)頁面中的套圖列表。
  2. 分別進(jìn)入每個(gè)套圖中去,下載相應(yīng)的圖片。

代碼說明

1、下載界面的函數(shù),利用 Requests 很方便實(shí)現(xiàn)。

            
              def download_page(url):
    '''
    用于下載頁面
    '''
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, headers=headers)
    r.encoding = 'gb2312'
    return r.text

            
          

2、獲取圖一所示的所有套圖列表,函數(shù)中 link 表示套圖的鏈接,text表示套圖的名字

            
              def get_pic_list(html):
    '''
    獲取每個(gè)頁面的套圖列表,之后循環(huán)調(diào)用get_pic函數(shù)獲取圖片
    '''
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find_all('li', class_='wp-item')
    for i in pic_list:
        a_tag = i.find('h3', class_='tit').find('a')
        link = a_tag.get('href')  # 套圖鏈接
        text = a_tag.get_text()   # 套圖名字
        get_pic(link, text)

            
          

3、傳入上一步中獲取到的套圖鏈接及套圖名字,獲取每組套圖里面的圖片,并保存,我在代碼中注釋了。

            
              def get_pic(link, text):
    '''
    獲取當(dāng)前頁面的圖片,并保存
    '''
    html = download_page(link)  # 下載界面
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir('pic/{}'.format(text))
    for i in pic_list:
        pic_link = i.get('src')  # 拿到圖片的具體 url
        r = requests.get(pic_link, headers=headers)  # 下載圖片,之后保存到文件
        with open('pic/{}/{}'.format(text, pic_link.split('/')[-1]), 'wb') as f:
            f.write(r.content)
            time.sleep(1)

            
          

完整代碼

完整代碼如下,包括了創(chuàng)建文件夾,利用多線程爬取,我設(shè)置的是5個(gè)線程,可以根據(jù)自己機(jī)器自己來設(shè)置一下。

            
              import requests
import os
import time
import threading
from bs4 import BeautifulSoup
'''
遇到不懂的問題?Python學(xué)習(xí)交流群:821460695滿足你的需求,資料都已經(jīng)上傳群文件,可以自行下載!
'''

def download_page(url):
    '''
    用于下載頁面
    '''
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, headers=headers)
    r.encoding = 'gb2312'
    return r.text


def get_pic_list(html):
    '''
    獲取每個(gè)頁面的套圖列表,之后循環(huán)調(diào)用get_pic函數(shù)獲取圖片
    '''
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find_all('li', class_='wp-item')
    for i in pic_list:
        a_tag = i.find('h3', class_='tit').find('a')
        link = a_tag.get('href')
        text = a_tag.get_text()
        get_pic(link, text)


def get_pic(link, text):
    '''
    獲取當(dāng)前頁面的圖片,并保存
    '''
    html = download_page(link)  # 下載界面
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir('pic/{}'.format(text))
    for i in pic_list:
        pic_link = i.get('src')  # 拿到圖片的具體 url
        r = requests.get(pic_link, headers=headers)  # 下載圖片,之后保存到文件
        with open('pic/{}/{}'.format(text, pic_link.split('/')[-1]), 'wb') as f:
            f.write(r.content)
            time.sleep(1)   # 休息一下,不要給網(wǎng)站太大壓力,避免被封


def create_dir(name):
    if not os.path.exists(name):
        os.makedirs(name)


def execute(url):
    page_html = download_page(url)
    get_pic_list(page_html)


def main():
    create_dir('pic')
    queue = [i for i in range(1, 72)]   # 構(gòu)造 url 鏈接 頁碼。
    threads = []
    while len(queue) > 0:
        for thread in threads:
            if not thread.is_alive():
                threads.remove(thread)
        while len(threads) < 5 and len(queue) > 0:   # 最大線程數(shù)設(shè)置為 5
            cur_page = queue.pop(0)
            url = 'http://meizitu.com/a/more_{}.html'.format(cur_page)
            thread = threading.Thread(target=execute, args=(url,))
            thread.setDaemon(True)
            thread.start()
            print('{}正在下載{}頁'.format(threading.current_thread().name, cur_page))
            threads.append(thread)


if __name__ == '__main__':
    main()

            
          

更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 九九色播| 中文日韩字幕一区在线观看 | 欧美洲久久日韩欧美 | 成人网视频 | 毛片免费永久不卡视频观看 | 成人欧美精品久久久久影院 | avtom影院入口四虎 | 日韩毛片免费线上观看 | 日韩成人国产精品视频 | 岛国大片免费在线观看 | 性欧美video另类hd亚洲人 | 中文字幕精品一区二区三区视频 | 久久久精品免费国产四虎 | 精品一区二区久久 | 免费在线观看的毛片 | 日本黄色小视频在线观看 | 国产亚洲人成a在线v网站 | 亚洲国产小视频 | 精品午夜久久影视 | 欧美综合色另类图片区 | 久久99热久久精品99 | 越南黄色录像 | 麻豆国产精品视频 | 日韩免费观看一级毛片看看 | 中国美女hdxxxxx | 99久久精品国产自免费 | 欧美一级美片在线观看免费 | 久久久久成人精品一区二区 | 狠狠干夜夜操 | 久久99热这里只有精品国产 | 四虎一影院区永久精品 | 四虎国产精品免费五月天 | 一级成人毛片免费观看欧美 | 久久国产热这里只有精品8 久久国产三级 | 精品久久久中文字幕二区 | 久亚洲精品不子伦一区 | 亚洲欧美精品天堂久久综合一区 | 这里只有精品视频在线 | 亚洲另类老妇videos | 日韩欧美综合视频 | 国产午夜精品福利 |