亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python 爬蟲之GRequests異步模塊

系統 4822 0

Python 爬蟲之GRequests異步模塊

運行環境:

系統: win10
Python版本: Python 3.6.6

GRequests是異步非阻塞的異步請求第三方包,使用了協程gevent,GRequests封裝了gevent的requests模塊。

安裝:

1
 pip install grequests

  

簡單使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
# -*- coding: utf-8 -*-
# @Time    : 2019/6/13 10:02
# @Author  : 甄超鋒
# @Email   : 4535@sohu.com
# @File    : test.py
# @Software: PyCharm
 
import grequests
 
urls = [
    'http://www.heroku.com',
    'http://python-tablib.org',
    'http://httpbin.org',
    'http://python-requests.org',
    'http://fakedomain/',
    'http://kennethreitz.com'
]
time1 = time.time()
exception_url = []  # 異常url存儲列表
rs = (grequests.get(u) for in urls)  # 異步url請求
 
 
# 異常捕獲方法
def exception_handler(request, exception):
    print(request.url)
    exception_url.append(exception_url)
    print(exception)
print(rs)
# 此處map的requests參數是裝有實例化請求對象的列表,其返回值也是列表, size參數可以控制并發的數量, 不設置為 最大并發數,并發數也不能太大,怕你的機器抗不下來,最大控制到1000吧
res_list = grequests.map(rs, size=1, exception_handler=exception_handler)
print(res_list)
# 查看返回值的屬性值,我們關注的一般就是text json links  url headers 等
res_text_list = [ret.text for ret in res_list if ret and ret.status_code == 200]
for res_text in res_text_list:
    print(res_text)
time2 = time.time()
= time2 - time1
print(u'use_grequests發起5個請求花費了{}秒'.format(T))

 

本次GRequests異步請求包就介紹到這里,喜歡請收藏,點贊,關注,謝謝


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 日韩二区 | 午夜伦4480yy妇女久久久 | 国产成人精品日本亚洲直接 | 色偷偷亚洲精品一区 | 99re在线| 久色阁| 亚洲经典在线中文字幕 | 日韩专区亚洲国产精品 | 色爱区综合五月激情 | 伦伦影院精品一区 | 日韩欧美毛片免费观看视频 | 妖精视频免费在线观看 | 成人免费草草视频 | 中文字幕日韩欧美 | 国产乱在线 | 亚洲欧美日韩在线中文一 | 亚洲一区二区精品推荐 | 日日夜夜爽 | 操美女的视频网站 | 亚洲婷婷网 | 亚洲综合激情五月色播 | 一级无毛 | 日日拍夜夜操 | 四虎影院2022 | 老司机免费精品视频 | 国产一区二区三区播放 | 久久99精品国产麻豆宅宅 | 综合久久久久久久 | 亚洲免费一级片 | 男人午夜 | 久草香蕉视频在线观看 | 偷偷鲁影院手机在线观看 | 在线观看精品国内福利视频 | 日本不卡在线观看 | 羞羞网站免费观看 | 国产女人久久精品 | 亚洲伊人久久综合一区二区 | 久久精品站 | 亚洲成人第一页 | 伊人久久丁香色婷婷啪啪 | 美女被羞羞产奶视频网站 |