亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python網絡爬蟲——requests模塊(1)

系統 1537 0

- 基于如下5點展開requests模塊的學習

  • 什么是requests模塊
    • requests模塊是python中原生的基于網絡請求的模塊,其主要作用是用來模擬瀏覽器發起請求。功能強大,用法簡潔高效。在爬蟲領域中占據著半壁江山的地位。
  • 為什么要使用requests模塊
    • 因為在使用urllib模塊的時候,會有諸多不便之處,總結如下:
      • 手動處理url編碼
      • 手動處理post請求參數
      • 處理cookie和代理操作繁瑣
      • ......
    • 使用requests模塊:
      • 自動處理url編碼
      • 自動處理post請求參數
      • 簡化cookie和代理操作
      • ......
  • 如何使用requests模塊
    • 安裝:
      • pip install requests
    • 使用流程
      • 指定url
      • 基于requests模塊發起請求
      • 獲取響應對象中的數據值
      • 持久化存儲
  • 通過5個基于requests模塊的爬蟲項目對該模塊進行學習和鞏固
    • 基于requests模塊的get請求
      • 需求:爬取搜狗指定詞條搜索后的頁面數據
    • 基于requests模塊的post請求
      • 需求:登錄豆瓣電影,爬取登錄成功后的頁面數據
    • 基于requests模塊ajax的get請求
      • 需求:爬取豆瓣電影分類排行榜?https://movie.douban.com/中的電影詳情數據
    • 基于requests模塊ajax的post請求
      • 需求:爬取肯德基餐廳查詢http://www.kfc.com.cn/kfccda/index.aspx中指定地點的餐廳數據
    • 綜合練習
      • 需求:爬取國家藥品監督管理總局中基于中華人民共和國化妝品生產許可證相關數據http://125.35.6.84:81/xk/

- 代碼展示

  • 需求:爬取搜狗指定詞條搜索后的頁面數據
                  
                    
                      
                        import requests
    
                        
                          
                            import os
    
                            
                              
                                #指定搜索關鍵字 word = input(
                                
                                  
                                    'enter a word you want to search:') 
                                    
                                      
                                        #自定義請求頭信息 headers={ 
                                        
                                          
                                            'User-Agent': 
                                            
                                              
                                                'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } 
                                                
                                                  
                                                    #指定url url = 
                                                    
                                                      
                                                        'https://www.sogou.com/web' 
                                                        
                                                          
                                                            #封裝get請求參數 prams = { 
                                                            
                                                              
                                                                'query':word, 
                                                                
                                                                  
                                                                    'ie':
                                                                    
                                                                      
                                                                        'utf-8' } 
                                                                        
                                                                          
                                                                            #發起請求 response = requests.get(url=url,params=param) 
                                                                            
                                                                              
                                                                                #獲取響應數據 page_text = response.text 
                                                                                
                                                                                  
                                                                                    with open(
                                                                                    
                                                                                      
                                                                                        './sougou.html',
                                                                                        
                                                                                          
                                                                                            'w',encoding=
                                                                                            
                                                                                              
                                                                                                'utf-8') 
                                                                                                
                                                                                                  
                                                                                                    as fp: fp.write(page_text) 
                                                                                                  
                                                                                                
                                                                                              
                                                                                            
                                                                                          
                                                                                        
                                                                                      
                                                                                    
                                                                                  
                                                                                
                                                                              
                                                                            
                                                                          
                                                                        
                                                                      
                                                                    
                                                                  
                                                                
                                                              
                                                            
                                                          
                                                        
                                                      
                                                    
                                                  
                                                
                                              
                                            
                                          
                                        
                                      
                                    
                                  
                                
                              
                            
                          
                        
                      
                    
                  
                

    請求載體身份標識的偽裝:

    • User-Agent:請求載體身份標識,通過瀏覽器發起的請求,請求載體為瀏覽器,則該請求的User-Agent為瀏覽器的身份標識,使用爬蟲程序發起的請求,則該請求的載體為爬蟲程序,則該請求的User-Agent為爬蟲程序的身份標識。可以通過判斷該值來獲知該請求的載體究竟是基于哪款瀏覽器還是基于爬蟲程序。

    • 反爬機制:某些門戶網站會對訪問該網站的請求中的User-Agent進行捕獲和判斷,如果該請求的UA為爬蟲程序,則拒絕向該請求提供數據。

    • 反反爬策略:將爬蟲程序的UA偽裝成某一款瀏覽器的身份標識。

  • 需求:登錄豆瓣電影,爬取登錄成功后的頁面數據
                  
                    
                      
                        import requests
    
                        
                          
                            import os
    url = 
                            
                              
                                'https://accounts.douban.com/login' 
                                
                                  
                                    #封裝請求參數 data = { 
                                    
                                      
                                        "source": 
                                        
                                          
                                            "movie", 
                                            
                                              
                                                "redir": 
                                                
                                                  
                                                    "https://movie.douban.com/", 
                                                    
                                                      
                                                        "form_email": 
                                                        
                                                          
                                                            "15027900535", 
                                                            
                                                              
                                                                "form_password": 
                                                                
                                                                  
                                                                    "bobo@15027900535", 
                                                                    
                                                                      
                                                                        "login": 
                                                                        
                                                                          
                                                                            "登錄", } 
                                                                            
                                                                              
                                                                                #自定義請求頭信息 headers={ 
                                                                                
                                                                                  
                                                                                    'User-Agent': 
                                                                                    
                                                                                      
                                                                                        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } response = requests.post(url=url,data=data) page_text = response.text 
                                                                                        
                                                                                          
                                                                                            with open(
                                                                                            
                                                                                              
                                                                                                './douban111.html',
                                                                                                
                                                                                                  
                                                                                                    'w',encoding=
                                                                                                    
                                                                                                      
                                                                                                        'utf-8') 
                                                                                                        
                                                                                                          
                                                                                                            as fp: fp.write(page_text) 
                                                                                                          
                                                                                                        
                                                                                                      
                                                                                                    
                                                                                                  
                                                                                                
                                                                                              
                                                                                            
                                                                                          
                                                                                        
                                                                                      
                                                                                    
                                                                                  
                                                                                
                                                                              
                                                                            
                                                                          
                                                                        
                                                                      
                                                                    
                                                                  
                                                                
                                                              
                                                            
                                                          
                                                        
                                                      
                                                    
                                                  
                                                
                                              
                                            
                                          
                                        
                                      
                                    
                                  
                                
                              
                            
                          
                        
                      
                    
                  
                

    ?

需求:爬取豆瓣電影分類排行榜?https://movie.douban.com/中的電影詳情數據

          
            
              
                #!/usr/bin/env python

                
                  
                    # -*- coding:utf-8 -*-


                    
                      
                        import requests 
                        
                          
                            import urllib.request 
                            
                              
                                if __name__ == 
                                
                                  
                                    "__main__": 
                                    
                                      
                                        #指定ajax-get請求的url(通過抓包進行獲取) url = 
                                        
                                          
                                            'https://movie.douban.com/j/chart/top_list?' 
                                            
                                              
                                                #定制請求頭信息,相關的頭信息必須封裝在字典結構中 headers = { 
                                                
                                                  
                                                    #定制請求頭中的User-Agent參數,當然也可以定制請求頭中其他的參數 
                                                    
                                                      
                                                        'User-Agent': 
                                                        
                                                          
                                                            'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', } 
                                                            
                                                              
                                                                #定制get請求攜帶的參數(從抓包工具中獲取) param = { 
                                                                
                                                                  
                                                                    'type':
                                                                    
                                                                      
                                                                        '5', 
                                                                        
                                                                          
                                                                            'interval_id':
                                                                            
                                                                              
                                                                                '100:90', 
                                                                                
                                                                                  
                                                                                    'action':
                                                                                    
                                                                                      
                                                                                        '', 
                                                                                        
                                                                                          
                                                                                            'start':
                                                                                            
                                                                                              
                                                                                                '0', 
                                                                                                
                                                                                                  
                                                                                                    'limit':
                                                                                                    
                                                                                                      
                                                                                                        '20' } 
                                                                                                        
                                                                                                          
                                                                                                            #發起get請求,獲取響應對象 response = requests.get(url=url,headers=headers,params=param) 
                                                                                                            
                                                                                                              
                                                                                                                #獲取響應內容:響應內容為json串 print(response.text)
                                                                                                              
                                                                                                            
                                                                                                          
                                                                                                        
                                                                                                      
                                                                                                    
                                                                                                  
                                                                                                
                                                                                              
                                                                                            
                                                                                          
                                                                                        
                                                                                      
                                                                                    
                                                                                  
                                                                                
                                                                              
                                                                            
                                                                          
                                                                        
                                                                      
                                                                    
                                                                  
                                                                
                                                              
                                                            
                                                          
                                                        
                                                      
                                                    
                                                  
                                                
                                              
                                            
                                          
                                        
                                      
                                    
                                  
                                
                              
                            
                          
                        
                      
                    
                  
                
              
            
          
        

需求:爬取肯德基餐廳查詢http://www.kfc.com.cn/kfccda/index.aspx中指定地點的餐廳數據

          
            
              
                #!/usr/bin/env python

                
                  
                    # -*- coding:utf-8 -*-


                    
                      
                        import requests 
                        
                          
                            import urllib.request 
                            
                              
                                if __name__ == 
                                
                                  
                                    "__main__": 
                                    
                                      
                                        #指定ajax-post請求的url(通過抓包進行獲?。?url = 
                                        
                                          
                                            'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword' 
                                            
                                              
                                                #定制請求頭信息,相關的頭信息必須封裝在字典結構中 headers = { 
                                                
                                                  
                                                    #定制請求頭中的User-Agent參數,當然也可以定制請求頭中其他的參數 
                                                    
                                                      
                                                        'User-Agent': 
                                                        
                                                          
                                                            'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', } 
                                                            
                                                              
                                                                #定制post請求攜帶的參數(從抓包工具中獲取) data = { 
                                                                
                                                                  
                                                                    'cname':
                                                                    
                                                                      
                                                                        '', 
                                                                        
                                                                          
                                                                            'pid':
                                                                            
                                                                              
                                                                                '', 
                                                                                
                                                                                  
                                                                                    'keyword':
                                                                                    
                                                                                      
                                                                                        '北京', 
                                                                                        
                                                                                          
                                                                                            'pageIndex': 
                                                                                            
                                                                                              
                                                                                                '1', 
                                                                                                
                                                                                                  
                                                                                                    'pageSize': 
                                                                                                    
                                                                                                      
                                                                                                        '10' } 
                                                                                                        
                                                                                                          
                                                                                                            #發起post請求,獲取響應對象 response = requests.get(url=url,headers=headers,data=data) 
                                                                                                            
                                                                                                              
                                                                                                                #獲取響應內容:響應內容為json串 print(response.text)
                                                                                                              
                                                                                                            
                                                                                                          
                                                                                                        
                                                                                                      
                                                                                                    
                                                                                                  
                                                                                                
                                                                                              
                                                                                            
                                                                                          
                                                                                        
                                                                                      
                                                                                    
                                                                                  
                                                                                
                                                                              
                                                                            
                                                                          
                                                                        
                                                                      
                                                                    
                                                                  
                                                                
                                                              
                                                            
                                                          
                                                        
                                                      
                                                    
                                                  
                                                
                                              
                                            
                                          
                                        
                                      
                                    
                                  
                                
                              
                            
                          
                        
                      
                    
                  
                
              
            
          
        
  • 需求:爬取國家藥品監督管理總局中基于中華人民共和國化妝品生產許可證相關數據
                  
                    
                      
                        import requests
    
                        
                          
                            from fake_useragent 
                            
                              
                                import UserAgent ua = UserAgent(use_cache_server=
                                
                                  
                                    False,verify_ssl=
                                    
                                      
                                        False).random headers = { 
                                        
                                          
                                            'User-Agent':ua } url = 
                                            
                                              
                                                'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList' pageNum = 
                                                
                                                  
                                                    3 
                                                    
                                                      
                                                        for page 
                                                        
                                                          
                                                            in range(
                                                            
                                                              
                                                                3,
                                                                
                                                                  
                                                                    5): data = { 
                                                                    
                                                                      
                                                                        'on': 
                                                                        
                                                                          
                                                                            'true', 
                                                                            
                                                                              
                                                                                'page': str(page), 
                                                                                
                                                                                  
                                                                                    'pageSize': 
                                                                                    
                                                                                      
                                                                                        '15', 
                                                                                        
                                                                                          
                                                                                            'productName':
                                                                                            
                                                                                              
                                                                                                '', 
                                                                                                
                                                                                                  
                                                                                                    'conditionType': 
                                                                                                    
                                                                                                      
                                                                                                        '1', 
                                                                                                        
                                                                                                          
                                                                                                            'applyname':
                                                                                                            
                                                                                                              
                                                                                                                '', 
                                                                                                                
                                                                                                                  
                                                                                                                    'applysn':
                                                                                                                    
                                                                                                                      
                                                                                                                        '' } json_text = requests.post(url=url,data=data,headers=headers).json() all_id_list = [] 
                                                                                                                        
                                                                                                                          
                                                                                                                            for dict 
                                                                                                                            
                                                                                                                              
                                                                                                                                in json_text[
                                                                                                                                
                                                                                                                                  
                                                                                                                                    'list']: id = dict[
                                                                                                                                    
                                                                                                                                      
                                                                                                                                        'ID']
                                                                                                                                        
                                                                                                                                          
                                                                                                                                            #用于二級頁面數據獲取 
                                                                                                                                            
                                                                                                                                              
                                                                                                                                                #下列詳情信息可以在二級頁面中獲取 
                                                                                                                                                
                                                                                                                                                  
                                                                                                                                                    # name = dict['EPS_NAME'] 
                                                                                                                                                    
                                                                                                                                                      
                                                                                                                                                        # product = dict['PRODUCT_SN'] 
                                                                                                                                                        
                                                                                                                                                          
                                                                                                                                                            # man_name = dict['QF_MANAGER_NAME'] 
                                                                                                                                                            
                                                                                                                                                              
                                                                                                                                                                # d1 = dict['XC_DATE'] 
                                                                                                                                                                
                                                                                                                                                                  
                                                                                                                                                                    # d2 = dict['XK_DATE'] all_id_list.append(id) 
                                                                                                                                                                    
                                                                                                                                                                      
                                                                                                                                                                        #該url是一個ajax的post請求 post_url = 
                                                                                                                                                                        
                                                                                                                                                                          
                                                                                                                                                                            'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById' 
                                                                                                                                                                            
                                                                                                                                                                              
                                                                                                                                                                                for id 
                                                                                                                                                                                
                                                                                                                                                                                  
                                                                                                                                                                                    in all_id_list: post_data = { 
                                                                                                                                                                                    
                                                                                                                                                                                      
                                                                                                                                                                                        'id':id } response = requests.post(url=post_url,data=post_data,headers=headers) 
                                                                                                                                                                                        
                                                                                                                                                                                          
                                                                                                                                                                                            #該請求響應回來的數據有兩個,一個是基于text,一個是基于json的,所以可以根據content-type,來獲取指定的響應數據 
                                                                                                                                                                                            
                                                                                                                                                                                              
                                                                                                                                                                                                if response.headers[
                                                                                                                                                                                                
                                                                                                                                                                                                  
                                                                                                                                                                                                    'Content-Type'] == 
                                                                                                                                                                                                    
                                                                                                                                                                                                      
                                                                                                                                                                                                        'application/json;charset=UTF-8': 
                                                                                                                                                                                                        
                                                                                                                                                                                                          
                                                                                                                                                                                                            #print(response.json()) 
                                                                                                                                                                                                            
                                                                                                                                                                                                              
                                                                                                                                                                                                                #進行json解析 json_text = response.json() print(json_text[
                                                                                                                                                                                                                
                                                                                                                                                                                                                  
                                                                                                                                                                                                                    'businessPerson'])
                                                                                                                                                                                                                  
                                                                                                                                                                                                                
                                                                                                                                                                                                              
                                                                                                                                                                                                            
                                                                                                                                                                                                          
                                                                                                                                                                                                        
                                                                                                                                                                                                      
                                                                                                                                                                                                    
                                                                                                                                                                                                  
                                                                                                                                                                                                
                                                                                                                                                                                              
                                                                                                                                                                                            
                                                                                                                                                                                          
                                                                                                                                                                                        
                                                                                                                                                                                      
                                                                                                                                                                                    
                                                                                                                                                                                  
                                                                                                                                                                                
                                                                                                                                                                              
                                                                                                                                                                            
                                                                                                                                                                          
                                                                                                                                                                        
                                                                                                                                                                      
                                                                                                                                                                    
                                                                                                                                                                  
                                                                                                                                                                
                                                                                                                                                              
                                                                                                                                                            
                                                                                                                                                          
                                                                                                                                                        
                                                                                                                                                      
                                                                                                                                                    
                                                                                                                                                  
                                                                                                                                                
                                                                                                                                              
                                                                                                                                            
                                                                                                                                          
                                                                                                                                        
                                                                                                                                      
                                                                                                                                    
                                                                                                                                  
                                                                                                                                
                                                                                                                              
                                                                                                                            
                                                                                                                          
                                                                                                                        
                                                                                                                      
                                                                                                                    
                                                                                                                  
                                                                                                                
                                                                                                              
                                                                                                            
                                                                                                          
                                                                                                        
                                                                                                      
                                                                                                    
                                                                                                  
                                                                                                
                                                                                              
                                                                                            
                                                                                          
                                                                                        
                                                                                      
                                                                                    
                                                                                  
                                                                                
                                                                              
                                                                            
                                                                          
                                                                        
                                                                      
                                                                    
                                                                  
                                                                
                                                              
                                                            
                                                          
                                                        
                                                      
                                                    
                                                  
                                                
                                              
                                            
                                          
                                        
                                      
                                    
                                  
                                
                              
                            
                          
                        
                      
                    
                  
                

更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。?!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 久久久久久99 | 国产成人精品免费 | 福利视频国产 | 亚洲一级免费视频 | 久久夜色tv网站免费影院 | 香蕉爱爱视频 | 欧美久在线观看在线观看 | 国产精品免费久久久久影院小说 | 久青草国产手机视频免费观看 | 高清影院|精品秒播3 | 亚洲日本综合 | 99精品国产一区二区青青牛奶 | 国产欧美亚洲三区久在线观看 | 国产伦久视频免费观看 视频 | 久久一级视频 | 九九影院理论片在线观看 | 深夜影院老司机69影院 | 97影院支持微信微博观看 | 久久99国产亚洲精品 | 午夜黄色影院 | 亚洲国产欧美国产第一区二区三区 | 中文字幕一区二区三区有限公司 | 中国一级特黄真人毛片免 | 国产区亚洲区 | 91亚洲国产在人线播放午夜 | 四虎在线永久视频观看 | 精品久久久中文字幕 | 四虎4hu永久免费视频大全 | 国产成人精品免费久久久久 | 天天射夜夜爱 | 老年人一级特黄aa大片 | 精品一区二区三 | 久久亚洲精品人成综合网 | 成年女人视频免费免费看 | 日本三级日本三级人妇三级四 | 成年人网站在线 | 亚洲国产日产韩国欧美综合 | japanese乱子欧美 | 狠狠操夜夜爽 | 亚洲成人播放 | 青青青青啪视频在线观看 |