亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python - 爬蟲中文亂碼之請求頭 Accept-Encoding

系統 1784 0
原文鏈接: https://www.jianshu.com/p/70c3994efcd8?utm_source=oschina-app

當用 Python3 做爬蟲的時候,一些網站為了防爬蟲會設置一些檢查機制,這時我們就需要添加請求頭,偽裝成瀏覽器正常訪問。

header的內容在瀏覽器的開發者工具中便可看到,將這些信息添加到我們的爬蟲代碼中即可。

Accept-Encoding:是瀏覽器發給服務器,聲明瀏覽器支持的編碼類型。一般有 gzip,deflate,br 等等。

Python3中的 requests 包中 response.text 和 response.content:

response.content # 字節方式的響應體,會自動為你解碼 gzip 和 deflate 壓縮 類型:bytes
reponse.text # 字符串方式的響應體,會自動根據響應頭部的字符編碼進行解碼。類型:str

但是這里是默認是不支持解碼 br 的!

br 指的是 Brotli,是一種全新的數據格式,無損壓縮,壓縮比極高(比gzip高的)。

Brotli 介紹:https://www.cnblogs.com/Leo_wl/p/9170390.html

Brotli 優勢:https://www.cnblogs.com/upyun/p/7871959.html

Ps:這個不是本文的重點,重點是 Python3 爬蟲是如何解決中文亂碼問題。

?

第一種

將 ‘Accept-Encoding’ 中的:br 去除。這樣接受的網頁頁面就是沒有壓縮的或者是默認可解析的了。但是我認為這樣不好,人家搞出這么牛逼的算法還是要用一下的。

?

第二種

將使用 br 壓縮的頁面解析。Python3 中要導入 brotli 包 這個要自己安裝(這里就不介紹了,百度一堆)。

            
              from bs4 import BeautifulSoup
import requests
import brotli
from requests.exceptions import RequestException


def get_one_page(city, keyword, page):
   '''
   獲取網頁html內容并返回
   '''
   paras = {
       'jl': city,         # 搜索城市
       'kw': keyword,      # 搜索關鍵詞
       'isadv': 0,         # 是否打開更詳細搜索選項
       'isfilter': 1,      # 是否對結果過濾
       'p': page,          # 頁數
       # 're': region        # region的縮寫,地區,2005代表海淀
   }

   headers = {
       'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0',
       'Host': 'sou.zhaopin.com',
       'Referer': 'https://www.zhaopin.com/',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
       'Accept-Encoding': 'gizp,defale',
       'Accept-Language': 'zh-CN,zh;q=0.9'
   }
   import chardet
   url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?jl={}&kw={}&sm=0&p={}'.format(paras['jl'],paras['kw'],paras['p'])
   try:
       # 獲取網頁內容,返回html數據
       response = requests.get(url, headers=headers)
       # 通過狀態碼判斷是否獲取成功
       if response.status_code == 200:
           #response.encoding = 'utf-8'
           print(response.headers)
           print(response.encoding)
           key = 'Content-Encoding'
           # print(response.headers[key])
           print("-----------")
           if(key in response.headers and response.headers['Content-Encoding'] == 'br'):
               data = brotli.decompress(response.content)
               data1 = data.decode('utf-8')
               print(data1)
               return data1
           print(response.text)
           return response.text
       return None
   except RequestException as e:
       return None

def main(city, keyword, pages):

    for i in range(pages):
        html = get_one_page(city, keyword, i)


if __name__ == '__main__':
   main('北京', 'python', 1)
            
          

部分結果:

            
              {'Server': 'openresty', 'Date': 'Sun, 19 Aug 2018 13:15:46 GMT', 'Content-Type': 'text/html; charset=utf-8', 'Content-Length': '361146', 'Connection': 'keep-alive', 'Vary': 'Accept-Encoding, Accept-Encoding', 'zp-trace-id': '8437455ebb5342a59f8af78ddaab1985', 'Set-Cookie': 'ZP-ENV-FLAG=gray'}
utf-8
-----------




              
              
              
                北京python招聘(求職)python招聘(求職)盡在智聯招聘
              
              
              
              
              
              
              
            
          

這是沒有加 br 在請求的頭里的,下面改一下 Accept-Encoding 添加 br。

            
              ...同上

'Accept-Encoding': 'br,gizp,defale'

...同上
            
          

部分結果:

            
              {'Server': 'openresty', 'Date': 'Sun, 19 Aug 2018 13:19:02 GMT', 'Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Connection': 'keep-alive', 'Vary': 'Accept-Encoding', 'zp-trace-id': '842e66a58bb2464296121c9de59a9965', 'Content-Encoding': 'br', 'Set-Cookie': 'ZP-ENV-FLAG=gray'}
utf-8
-----------




              
              
              
                北京python招聘(求職)python招聘(求職)盡在智聯招聘
              
              
              
              
              
            
          

當網站使用了 br 壓縮的話,他會告訴我們的,就是 ‘Content-Encoding’ 的值。重點是:

            
              key = 'Content-Encoding'
if(key in response.headers and response.headers['Content-Encoding'] == 'br'):
    data = brotli.decompress(response.content)
    data1 = data.decode('utf-8')
    print(data1)
            
          

好的,這就解決了!

Ps:不得不說網上對于 brotli 的中文介紹并不算太多,包括對 Java 爬蟲的支持教程也很少。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。?!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 福利院肉动漫视频在线观看 | 天天操夜夜操 | 美女视频免费在线观看 | 欧美中文字幕一二三四区 | 91精品国产免费久久国语麻豆 | 精品国产一区二区麻豆 | 亚洲欧美国产另类 | 久久福利网 | h片在线免费 | 欧美成人毛片免费视频 | 一级高清毛片免费a级高清毛片 | 久久夜色精品国产尤物 | 亚洲一二三| 久草最新网址 | 中文字幕国产综合 | 国产精品日韩欧美 | 久久一精品 | 精品热久久 | 午夜视频久久久久一区 | 日韩欧美视频在线播放 | 久久99久久99精品免观看 | 伊人久久精品亚洲午夜 | 特级片毛片 | 欧美成人三级视频 | 综合久久久久6亚洲综合 | 五月婷婷激情综合 | 亚洲高清一区二区三区四区 | 国产伦人伦偷精品视频 | 中文xxx视频 | 久久青青草视频 | 深夜影院在线视频观看 | 青青国产成人久久激情911 | 久久精品国产国产精品四凭 | 国产真实强j视频在线观看 国产真实偷乱视频在线观看 | 亚洲精品中文字幕乱码三区一二 | 麻豆传煤一区免费入 | 色综合久久天天综线观看 | 国产精品久久久久久久久齐齐 | 国产永久免费爽视频在线 | 亚洲日本在线观看视频 | 狠狠热精品免费观看 |