亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python 爬蟲之GRequests異步模塊

系統 4822 0

Python 爬蟲之GRequests異步模塊

運行環境:

系統: win10
Python版本: Python 3.6.6

GRequests是異步非阻塞的異步請求第三方包,使用了協程gevent,GRequests封裝了gevent的requests模塊。

安裝:

1
 pip install grequests

  

簡單使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
# -*- coding: utf-8 -*-
# @Time    : 2019/6/13 10:02
# @Author  : 甄超鋒
# @Email   : 4535@sohu.com
# @File    : test.py
# @Software: PyCharm
 
import grequests
 
urls = [
    'http://www.heroku.com',
    'http://python-tablib.org',
    'http://httpbin.org',
    'http://python-requests.org',
    'http://fakedomain/',
    'http://kennethreitz.com'
]
time1 = time.time()
exception_url = []  # 異常url存儲列表
rs = (grequests.get(u) for in urls)  # 異步url請求
 
 
# 異常捕獲方法
def exception_handler(request, exception):
    print(request.url)
    exception_url.append(exception_url)
    print(exception)
print(rs)
# 此處map的requests參數是裝有實例化請求對象的列表,其返回值也是列表, size參數可以控制并發的數量, 不設置為 最大并發數,并發數也不能太大,怕你的機器抗不下來,最大控制到1000吧
res_list = grequests.map(rs, size=1, exception_handler=exception_handler)
print(res_list)
# 查看返回值的屬性值,我們關注的一般就是text json links  url headers 等
res_text_list = [ret.text for ret in res_list if ret and ret.status_code == 200]
for res_text in res_text_list:
    print(res_text)
time2 = time.time()
= time2 - time1
print(u'use_grequests發起5個請求花費了{}秒'.format(T))

 

本次GRequests異步請求包就介紹到這里,喜歡請收藏,點贊,關注,謝謝


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 91久久精品| 视频国产在线 | 毛片免费观看网址 | 亚洲成 人a影院青久在线观看 | 久久国产精品国产自线拍免费 | 久综合网 | 五月婷六月婷婷 | 久久婷婷综合中文字幕 | 精品午夜国产在线观看不卡 | 欧洲色综合精品 | 亚洲五月婷婷 | 96精彩视频在线观看 | www久久久久| 麻豆精品国产免费观看 | 国产一区二区在线 |播放 | 日韩在线观看一区二区三区 | 日韩va亚洲va欧美va浪潮 | 国语高清精品一区二区三区 | 欧美一区二区三区网站 | 在线观看视频一区二区 | 国产精品一级片 | 国产综合一区二区 | 一级毛片a免费播放王色 | 夜色福利一区二区三区 | 国产精品9999久久久久 | 午夜综合 | 中文视频在线 | 天天操天天插天天干 | 欧美成人免费观看的 | 日日爽| 91精品啪在线观看国产老湿机 | 亚洲日韩中文字幕在线播放 | 美女视频黄视大全视频免费网址 | 亚洲综合一区二区三区 | www成人在线观看 | 91在线网站| 久久久www免费看片 久久久不卡 | 青青青国产成人久久111网站 | 亚洲字幕久久 | 国产免费私人影院永久免费 | 在线成人a毛片免费播放 |