亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python多線程爬蟲實現

系統 1837 0

1. Python多線程爬蟲

在批量去爬取數據的時候,往往效率會很低,這個時候我們可以用到多線程的技術。
python是支持多線程的, 主要是通過thread和threading這兩個模塊來實現的。

單線程爬蟲效率相對來說會低很多,例如:

            
              
                import
              
               requests

              
                from
              
               bs4 
              
                import
              
               BeautifulSoup

              
                import
              
               time
start_time 
              
                =
              
               time
              
                .
              
              time
              
                (
              
              
                )
              
              
                def
              
              
                main
              
              
                (
              
              
                )
              
              
                :
              
              
    headers 
              
                =
              
              
                {
              
              
                'User-Agent'
              
              
                :
              
              
                'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
              
              
                }
              
              
                for
              
               i 
              
                in
              
              
                range
              
              
                (
              
              
                1
              
              
                ,
              
              
                6
              
              
                )
              
              
                :
              
              
        url 
              
                =
              
              
                "https://so.csdn.net/so/search/s.do?p="
              
              
                +
              
              
                str
              
              
                (
              
              i
              
                )
              
              
                +
              
              
                "&q=python"
              
              
        s 
              
                =
              
               requests
              
                .
              
              session
              
                (
              
              
                )
              
              
        html 
              
                =
              
               s
              
                .
              
              get
              
                (
              
              url
              
                ,
              
              headers 
              
                =
              
               headers
              
                )
              
              
        html
              
                .
              
              encoding 
              
                =
              
              
                "utf-8"
              
              
        r 
              
                =
              
               html
              
                .
              
              text
        
              
                #print(r)
              
              
                #print(r)
              
              
        soup 
              
                =
              
               BeautifulSoup
              
                (
              
              
                str
              
              
                (
              
              r
              
                )
              
              
                ,
              
              
                "html.parser"
              
              
                )
              
              
        limit 
              
                =
              
               soup
              
                .
              
              find_all
              
                (
              
              
                'div'
              
              
                ,
              
               class_
              
                =
              
              
                'limit_width'
              
              
                )
              
              
        soup1 
              
                =
              
               BeautifulSoup
              
                (
              
              
                str
              
              
                (
              
              limit
              
                )
              
              
                ,
              
              
                "html.parser"
              
              
                )
              
              
        div 
              
                =
              
               soup1
              
                .
              
              find_all
              
                (
              
              
                'div'
              
              
                ,
              
               class_
              
                =
              
              
                'limit_width'
              
              
                )
              
              
        soup2 
              
                =
              
               BeautifulSoup
              
                (
              
              
                str
              
              
                (
              
              div
              
                )
              
              
                ,
              
              
                "html.parser"
              
              
                )
              
              
        a 
              
                =
              
               soup2
              
                .
              
              find_all
              
                (
              
              
                'a'
              
              
                )
              
              
                for
              
               i 
              
                in
              
               a
              
                :
              
              
            text 
              
                =
              
               i
              
                .
              
              get_text
              
                (
              
              
                )
              
              
            href 
              
                =
              
               i
              
                [
              
              
                "href"
              
              
                ]
              
              
                if
              
              
                "CSDN"
              
              
                not
              
              
                in
              
               text
              
                :
              
              
                print
              
              
                (
              
              text
              
                )
              
              
                print
              
              
                (
              
              href
              
                )
              
              
main
              
                (
              
              
                )
              
              
end 
              
                =
              
               time
              
                .
              
              time
              
                (
              
              
                )
              
              
                print
              
              
                (
              
              end
              
                -
              
              start_time
              
                )
              
              
                #運行結果:
              
              
                #......
              
              
                #Time-Cost:2.061112642288208
              
            
          

然后我們嘗試用多線程的方法,執行同樣的爬取內容,如下所示:

            
              
                # coding=utf-8
              
              
                import
              
               threading
              
                ,
              
               queue
              
                ,
              
               time
              
                ,
              
               urllib

              
                from
              
               bs4 
              
                import
              
               BeautifulSoup

              
                from
              
               urllib 
              
                import
              
               request
headers 
              
                =
              
              
                {
              
              
                'User-Agent'
              
              
                :
              
              
                'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
              
              
                }
              
              
                import
              
               requests
baseUrl 
              
                =
              
              
                "https://so.csdn.net/so/search/s.do?p="
              
              

urlQueue 
              
                =
              
               queue
              
                .
              
              Queue
              
                (
              
              
                )
              
              
                for
              
               i 
              
                in
              
              
                range
              
              
                (
              
              
                1
              
              
                ,
              
              
                6
              
              
                )
              
              
                :
              
              
    url 
              
                =
              
               baseUrl 
              
                +
              
              
                str
              
              
                (
              
              i
              
                )
              
              
                +
              
              
                "&q=python"
              
              
    urlQueue
              
                .
              
              put
              
                (
              
              url
              
                )
              
              
                #print(url)
              
              
                def
              
              
                fetchUrl
              
              
                (
              
              urlQueue
              
                )
              
              
                :
              
              
                while
              
              
                True
              
              
                :
              
              
                try
              
              
                :
              
              
                #不阻塞的讀取隊列數據
              
              
            url 
              
                =
              
               urlQueue
              
                .
              
              get_nowait
              
                (
              
              
                )
              
              
            i 
              
                =
              
               urlQueue
              
                .
              
              qsize
              
                (
              
              
                )
              
              
                #print(url,threading.current_thread().name)
              
              
                except
              
               Exception 
              
                as
              
               e
              
                :
              
              
                break
              
              
                #print ('Current Thread Name %s, Url: %s ' % (threading.currentThread().name, url))
              
              
                try
              
              
                :
              
              
            s 
              
                =
              
               requests
              
                .
              
              session
              
                (
              
              
                )
              
              
            html 
              
                =
              
               s
              
                .
              
              get
              
                (
              
              url
              
                ,
              
               headers
              
                =
              
              headers
              
                )
              
              
            html
              
                .
              
              encoding 
              
                =
              
              
                "utf-8"
              
              
            r 
              
                =
              
               html
              
                .
              
              text
            
              
                # print(r)
              
              
                # print(r)
              
              
            soup 
              
                =
              
               BeautifulSoup
              
                (
              
              
                str
              
              
                (
              
              r
              
                )
              
              
                ,
              
              
                "html.parser"
              
              
                )
              
              
            limit 
              
                =
              
               soup
              
                .
              
              find_all
              
                (
              
              
                'div'
              
              
                ,
              
               class_
              
                =
              
              
                'limit_width'
              
              
                )
              
              
            soup1 
              
                =
              
               BeautifulSoup
              
                (
              
              
                str
              
              
                (
              
              limit
              
                )
              
              
                ,
              
              
                "html.parser"
              
              
                )
              
              
            div 
              
                =
              
               soup1
              
                .
              
              find_all
              
                (
              
              
                'div'
              
              
                ,
              
               class_
              
                =
              
              
                'limit_width'
              
              
                )
              
              
            soup2 
              
                =
              
               BeautifulSoup
              
                (
              
              
                str
              
              
                (
              
              div
              
                )
              
              
                ,
              
              
                "html.parser"
              
              
                )
              
              
            a 
              
                =
              
               soup2
              
                .
              
              find_all
              
                (
              
              
                'a'
              
              
                )
              
              
                for
              
               i 
              
                in
              
               a
              
                :
              
              
                text 
              
                =
              
               i
              
                .
              
              get_text
              
                (
              
              
                )
              
              
                href 
              
                =
              
               i
              
                [
              
              
                "href"
              
              
                ]
              
              
                if
              
              
                "CSDN"
              
              
                not
              
              
                in
              
               text
              
                :
              
              
                print
              
              
                (
              
              text
              
                )
              
              
                print
              
              
                (
              
              href
              
                )
              
              
                print
              
              
                (
              
              
                "已爬取完畢!"
              
              
                )
              
              
                except
              
              
                :
              
              
                pass
              
              
                #抓取內容的數據處理可以放到這里
              
              
                #為了突出效果, 設置延時
              
              
                #time.sleep(1)
              
              
                #print(html)
              
              
                if
              
               __name__ 
              
                ==
              
              
                '__main__'
              
              
                :
              
              
    startTime 
              
                =
              
               time
              
                .
              
              time
              
                (
              
              
                )
              
              
                print
              
              
                (
              
              
                "這是主線程:"
              
              
                ,
              
              threading
              
                .
              
              current_thread
              
                (
              
              
                )
              
              
                .
              
              name
              
                )
              
              
    threads 
              
                =
              
              
                [
              
              
                ]
              
              
                # 可以調節線程數, 進而控制抓取速度
              
              
    threadNum 
              
                =
              
              
                5
              
              
                for
              
               i 
              
                in
              
              
                range
              
              
                (
              
              
                0
              
              
                ,
              
               threadNum
              
                )
              
              
                :
              
              
                #創建一個線程
              
              
        t 
              
                =
              
               threading
              
                .
              
              Thread
              
                (
              
              target
              
                =
              
              fetchUrl
              
                ,
              
               args
              
                =
              
              
                (
              
              urlQueue
              
                ,
              
              
                )
              
              
                )
              
              
        threads
              
                .
              
              append
              
                (
              
              t
              
                )
              
              
                print
              
              
                (
              
              threads
              
                )
              
              
                for
              
               t 
              
                in
              
               threads
              
                :
              
              
        t
              
                .
              
              start
              
                (
              
              
                )
              
              
                for
              
               t 
              
                in
              
               threads
              
                :
              
              
                #多線程多join的情況下,依次執行各線程的join方法, 這樣可以確保主線程最后退出, 且各個線程間沒有阻塞
              
              
        t
              
                .
              
              join
              
                (
              
              
                )
              
              
    endTime 
              
                =
              
               time
              
                .
              
              time
              
                (
              
              
                )
              
              
                print
              
              
                (
              
              
                "主線程結束:"
              
              
                ,
              
              threading
              
                .
              
              current_thread
              
                (
              
              
                )
              
              
                .
              
              name
              
                )
              
              
                print
              
              
                (
              
              
                'Done, Time cost: %s '
              
              
                %
              
              
                (
              
              endTime 
              
                -
              
               startTime
              
                )
              
              
                )
              
              
                #運行結果:
              
              
                #這是主線程: MainThread
              
              
                #Python游戲開發入門
              
              
                #https://edu.csdn.net/course/detail/5690
              
              
                #Python, Python, Python
              
              
                #https://blog.csdn.net/ww_great/article/details/3057071
              
              
                #......
              
              
                #已爬取完畢!
              
              
                #主線程結束: MainThread
              
              
                #Time cost: 0.7241780757904053 
              
            
          

設置threadNum = 2的話,也就是將隊列設置為2,那么速度會大大降低。

我們運行一下,發現 Time cost: 1.3654978275299072


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 国产精品a v 免费视频 | 色婷婷色婷婷 | 国产福利在线观看永久免费 | 国产成人综合亚洲亚洲欧美 | 亚洲短视频在线观看 | 国产精品久久免费观看 | 深夜免费看 | 狠狠色丁香婷婷久久综合考虑 | 欧美一级毛片久久精品 | 视频一区日韩 | 久久精品亚洲99一区二区 | 四虎在线视频观看大全影视 | 国产大片中文字幕在线观看 | 色噜噜狠狠狠狠色综合久一 | 成人在线亚洲 | 中文字幕日韩一区二区不卡 | 免费国产不卡午夜福在线观看 | 毛片免费毛片一级jjj毛片 | 日本综合视频 | 91精品自在拍精选久久 | 4虎影院永久地址www | 欧美金8天国 | 亚洲一区二区三区影院 | 久久久国产99久久国产久 | 久久国产资源 | 亚洲国产aaa毛片无费看 | xoxo日本 | 99在线观看免费 | 亚洲片在线观看 | 日韩亚洲视频 | 狠狠色噜噜噜噜狠狠狠狠狠狠奇米 | 欧美黄色第一页 | 国产视频中文字幕 | 91免费精品国自产拍在线不卡 | 国产综合精品久久久久成人影 | 久久天天躁狠狠躁夜夜躁 | 免费视频网站在线观看黄 | 香蕉视频成人在线观看 | 99久久成人国产精品免费 | 久草在在线视频免费 | 男人的天堂久久香蕉国产 |