亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python爬取妹子圖

系統(tǒng) 1635 0

爬蟲成果

Python爬取妹子圖_第1張圖片
當(dāng)你運(yùn)行代碼后,文件夾就會越來越多,如果爬完的話會有2000多個(gè)文件夾,20000多張圖片。不過會很耗時(shí)間,可以在最后的代碼設(shè)置爬取頁碼范圍。

本文目標(biāo)

  • 熟悉 Requests 庫,
  • Beautiful Soup 庫 熟悉多線程爬取
  • 送福利,妹子圖

網(wǎng)站結(jié)構(gòu)

我們從 http://meizitu.com/a/more_1.html 這個(gè)鏈接進(jìn)去,界面如圖一所示

圖一:
Python爬取妹子圖_第2張圖片
可以看到是一組一組的套圖,點(diǎn)擊任何一組圖片會進(jìn)入到詳情界面,如圖二所示

圖二:

可以看到圖片是依次排開的,一般會有十張左右的圖片。

實(shí)現(xiàn)思路

看了界面的結(jié)構(gòu),那么我們的思路就有了。

  1. 構(gòu)造 url 鏈接,去請求圖一所示的套圖列表界面,拿到每一個(gè)頁面中的套圖列表。
  2. 分別進(jìn)入每個(gè)套圖中去,下載相應(yīng)的圖片。

代碼說明

1、下載界面的函數(shù),利用 Requests 很方便實(shí)現(xiàn)。

            
              def download_page(url):
    '''
    用于下載頁面
    '''
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, headers=headers)
    r.encoding = 'gb2312'
    return r.text

            
          

2、獲取圖一所示的所有套圖列表,函數(shù)中 link 表示套圖的鏈接,text表示套圖的名字

            
              def get_pic_list(html):
    '''
    獲取每個(gè)頁面的套圖列表,之后循環(huán)調(diào)用get_pic函數(shù)獲取圖片
    '''
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find_all('li', class_='wp-item')
    for i in pic_list:
        a_tag = i.find('h3', class_='tit').find('a')
        link = a_tag.get('href')  # 套圖鏈接
        text = a_tag.get_text()   # 套圖名字
        get_pic(link, text)

            
          

3、傳入上一步中獲取到的套圖鏈接及套圖名字,獲取每組套圖里面的圖片,并保存,我在代碼中注釋了。

            
              def get_pic(link, text):
    '''
    獲取當(dāng)前頁面的圖片,并保存
    '''
    html = download_page(link)  # 下載界面
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir('pic/{}'.format(text))
    for i in pic_list:
        pic_link = i.get('src')  # 拿到圖片的具體 url
        r = requests.get(pic_link, headers=headers)  # 下載圖片,之后保存到文件
        with open('pic/{}/{}'.format(text, pic_link.split('/')[-1]), 'wb') as f:
            f.write(r.content)
            time.sleep(1)

            
          

完整代碼

完整代碼如下,包括了創(chuàng)建文件夾,利用多線程爬取,我設(shè)置的是5個(gè)線程,可以根據(jù)自己機(jī)器自己來設(shè)置一下。

            
              import requests
import os
import time
import threading
from bs4 import BeautifulSoup
'''
遇到不懂的問題?Python學(xué)習(xí)交流群:821460695滿足你的需求,資料都已經(jīng)上傳群文件,可以自行下載!
'''

def download_page(url):
    '''
    用于下載頁面
    '''
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, headers=headers)
    r.encoding = 'gb2312'
    return r.text


def get_pic_list(html):
    '''
    獲取每個(gè)頁面的套圖列表,之后循環(huán)調(diào)用get_pic函數(shù)獲取圖片
    '''
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find_all('li', class_='wp-item')
    for i in pic_list:
        a_tag = i.find('h3', class_='tit').find('a')
        link = a_tag.get('href')
        text = a_tag.get_text()
        get_pic(link, text)


def get_pic(link, text):
    '''
    獲取當(dāng)前頁面的圖片,并保存
    '''
    html = download_page(link)  # 下載界面
    soup = BeautifulSoup(html, 'html.parser')
    pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir('pic/{}'.format(text))
    for i in pic_list:
        pic_link = i.get('src')  # 拿到圖片的具體 url
        r = requests.get(pic_link, headers=headers)  # 下載圖片,之后保存到文件
        with open('pic/{}/{}'.format(text, pic_link.split('/')[-1]), 'wb') as f:
            f.write(r.content)
            time.sleep(1)   # 休息一下,不要給網(wǎng)站太大壓力,避免被封


def create_dir(name):
    if not os.path.exists(name):
        os.makedirs(name)


def execute(url):
    page_html = download_page(url)
    get_pic_list(page_html)


def main():
    create_dir('pic')
    queue = [i for i in range(1, 72)]   # 構(gòu)造 url 鏈接 頁碼。
    threads = []
    while len(queue) > 0:
        for thread in threads:
            if not thread.is_alive():
                threads.remove(thread)
        while len(threads) < 5 and len(queue) > 0:   # 最大線程數(shù)設(shè)置為 5
            cur_page = queue.pop(0)
            url = 'http://meizitu.com/a/more_{}.html'.format(cur_page)
            thread = threading.Thread(target=execute, args=(url,))
            thread.setDaemon(True)
            thread.start()
            print('{}正在下載{}頁'.format(threading.current_thread().name, cur_page))
            threads.append(thread)


if __name__ == '__main__':
    main()

            
          

更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 一级女性全黄生活片免费 | 奇米色视频 | 国产一级黄色录像 | 免费操片| 亚洲欧美日韩人成 | 真人午夜a一级毛片 | 国产欧美综合精品一区二区 | 天天摸日日舔 | 精品小视频在线观看 | 日本一级www乱码在线 | 日韩成人免费视频 | 好吊顶色 | 色尼玛亚洲综合 | 狠狠色丁香婷婷综合精品视频 | 欧美欧美aaaaa一级毛片 | 黄色毛片视频网站 | 国内精品视频一区二区八戒 | www.不卡视频 | 操美女穴| 麻豆精品一区 | 99re8免费视频精品全部 | 国产精品爱久久 | 亚洲另类图片专区 | 久久只有这里有精品 | 精品一区二区三区亚洲 | 成人精品视频一区二区在线 | 成人亚洲欧美日韩在线观看 | 欧美在线成人午夜影视 | 夜夜骑夜夜操 | 亚洲国产日韩在线一区 | 神马老子不卡视频在线 | 精品国产乱码一区二区三区麻豆 | 欧美色综合图区 | 欧美精品久久久亚洲 | 久草在线观看首页 | 99精品在线免费 | 久久精品一区二区三区不卡牛牛 | 亚洲精品国产字幕久久不卡 | 亚洲视频在线播放 | 毛片小视频 | 亚洲毛片视频 |