亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python爬取妹子圖

系統(tǒng) 1635 0

爬蟲成果

Python爬取妹子圖_第1張圖片
當(dāng)你運(yùn)行代碼后,文件夾就會越來越多,如果爬完的話會有2000多個(gè)文件夾,20000多張圖片。不過會很耗時(shí)間,可以在最后的代碼設(shè)置爬取頁碼范圍。

本文目標(biāo)

  • 熟悉 Requests 庫,
  • Beautiful Soup 庫 熟悉多線程爬取
  • 送福利,妹子圖

網(wǎng)站結(jié)構(gòu)

我們從 http://meizitu.com/a/more_1.html 這個(gè)鏈接進(jìn)去,界面如圖一所示

圖一:
Python爬取妹子圖_第2張圖片
可以看到是一組一組的套圖,點(diǎn)擊任何一組圖片會進(jìn)入到詳情界面,如圖二所示

圖二:

可以看到圖片是依次排開的,一般會有十張左右的圖片。

實(shí)現(xiàn)思路

看了界面的結(jié)構(gòu),那么我們的思路就有了。

  1. 構(gòu)造 url 鏈接,去請求圖一所示的套圖列表界面,拿到每一個(gè)頁面中的套圖列表。
  2. 分別進(jìn)入每個(gè)套圖中去,下載相應(yīng)的圖片。

代碼說明

1、下載界面的函數(shù),利用 Requests 很方便實(shí)現(xiàn)。

            
              def download_page(url):
    '''
    用于下載頁面
    '''
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, headers=headers)
    r.encoding = 'gb2312'
    return r.text

            
          

2、獲取圖一所示的所有套圖列表,函數(shù)中 link 表示套圖的鏈接,text表示套圖的名字

            
              def get_pic_list(html):
    '''
    獲取每個(gè)頁面的套圖列表,之后循環(huán)調(diào)用get_pic函數(shù)獲取圖片
    '''
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find_all('li', class_='wp-item')
    for i in pic_list:
        a_tag = i.find('h3', class_='tit').find('a')
        link = a_tag.get('href')  # 套圖鏈接
        text = a_tag.get_text()   # 套圖名字
        get_pic(link, text)

            
          

3、傳入上一步中獲取到的套圖鏈接及套圖名字,獲取每組套圖里面的圖片,并保存,我在代碼中注釋了。

            
              def get_pic(link, text):
    '''
    獲取當(dāng)前頁面的圖片,并保存
    '''
    html = download_page(link)  # 下載界面
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir('pic/{}'.format(text))
    for i in pic_list:
        pic_link = i.get('src')  # 拿到圖片的具體 url
        r = requests.get(pic_link, headers=headers)  # 下載圖片,之后保存到文件
        with open('pic/{}/{}'.format(text, pic_link.split('/')[-1]), 'wb') as f:
            f.write(r.content)
            time.sleep(1)

            
          

完整代碼

完整代碼如下,包括了創(chuàng)建文件夾,利用多線程爬取,我設(shè)置的是5個(gè)線程,可以根據(jù)自己機(jī)器自己來設(shè)置一下。

            
              import requests
import os
import time
import threading
from bs4 import BeautifulSoup
'''
遇到不懂的問題?Python學(xué)習(xí)交流群:821460695滿足你的需求,資料都已經(jīng)上傳群文件,可以自行下載!
'''

def download_page(url):
    '''
    用于下載頁面
    '''
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, headers=headers)
    r.encoding = 'gb2312'
    return r.text


def get_pic_list(html):
    '''
    獲取每個(gè)頁面的套圖列表,之后循環(huán)調(diào)用get_pic函數(shù)獲取圖片
    '''
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find_all('li', class_='wp-item')
    for i in pic_list:
        a_tag = i.find('h3', class_='tit').find('a')
        link = a_tag.get('href')
        text = a_tag.get_text()
        get_pic(link, text)


def get_pic(link, text):
    '''
    獲取當(dāng)前頁面的圖片,并保存
    '''
    html = download_page(link)  # 下載界面
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir('pic/{}'.format(text))
    for i in pic_list:
        pic_link = i.get('src')  # 拿到圖片的具體 url
        r = requests.get(pic_link, headers=headers)  # 下載圖片,之后保存到文件
        with open('pic/{}/{}'.format(text, pic_link.split('/')[-1]), 'wb') as f:
            f.write(r.content)
            time.sleep(1)   # 休息一下,不要給網(wǎng)站太大壓力,避免被封


def create_dir(name):
    if not os.path.exists(name):
        os.makedirs(name)


def execute(url):
    page_html = download_page(url)
    get_pic_list(page_html)


def main():
    create_dir('pic')
    queue = [i for i in range(1, 72)]   # 構(gòu)造 url 鏈接 頁碼。
    threads = []
    while len(queue) > 0:
        for thread in threads:
            if not thread.is_alive():
                threads.remove(thread)
        while len(threads) < 5 and len(queue) > 0:   # 最大線程數(shù)設(shè)置為 5
            cur_page = queue.pop(0)
            url = 'http://meizitu.com/a/more_{}.html'.format(cur_page)
            thread = threading.Thread(target=execute, args=(url,))
            thread.setDaemon(True)
            thread.start()
            print('{}正在下載{}頁'.format(threading.current_thread().name, cur_page))
            threads.append(thread)


if __name__ == '__main__':
    main()

            
          

更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 人人爱天天做夜夜爽 | 99热成人精品免费久久 | 色涩网站在线观看 | 亚洲成人视屏 | 亚洲欧美久久精品一区 | 天天色天天射天天干 | 国产福利在线免费观看 | 色中色官网 | 综合久久综合久久 | 成人免费黄色 | 国产成人精品日本亚洲网站 | 午夜深夜福利网址 | 日本爱情动作片网址 | 久久免费精品高清麻豆 | 美国一级毛片片aa成人 | 国产欧美日韩中文久久 | 欧美在线一 | 伊人一区二区三区 | 日本特级视频 | 在线观看欧美一区 | 黄色免费看看 | 伊人999| 国产一区成人 | 欧美精品中文字幕手机免费视频 | 97在线视频免费公开观看 | 人人干人人模 | 久久久久国产精品四虎 | 在线观看麻豆国产精品 | jizz中国女人 | 曰本女人一级毛片看一级毛 | 一区二区三区视频网站 | 国产三级久久 | 99热这就是里面只有精品 | 99精品视频在线在线视频观看 | 久久成人国产精品青青 | 日本不卡免费高清视频 | 欧美精品一区在线看 | 亚州不卡| 国产a免费 | 国产欧美一区二区精品性色99 | 嘿咻嘿咻免费区在线观看吃奶 |