亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python爬蟲---從零開始(一)初識爬蟲

系統(tǒng) 1546 0

  我們開始來談?wù)刾ython的爬蟲。

1,什么是爬蟲:

網(wǎng)絡(luò)爬蟲是一種按照一定的規(guī)則,自動地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。互聯(lián)網(wǎng)猶如一個大蜘蛛網(wǎng),我們的爬蟲就猶如一個蜘蛛,當(dāng)在互聯(lián)網(wǎng)遇到所需要的資源,我們就會爬取下來,即為爬蟲是一個請求網(wǎng)站 并且提取數(shù)據(jù)的自動化程序。

2,下面我們來提到兩個名詞:

  1)請求,request即為我們的請求,當(dāng)我們在瀏覽器內(nèi)輸入網(wǎng)址,敲擊回車時,這時瀏覽器就會發(fā)送消息給該網(wǎng)址所在的服務(wù)器,這個過程叫做HTTP Request

  2)響應(yīng),response即為我們的響應(yīng),服務(wù)器在接收到瀏覽器發(fā)送的消息后,能夠根據(jù)瀏覽器發(fā)送消息的內(nèi)容做出相應(yīng)的處理,然后把消息回傳給瀏覽器。這個過程就做HTTP Response。瀏覽器收到服務(wù)器的Response信息后,會對信息進(jìn)行處理,然后展示。

3,Request中包含什么?

  1)請求方式,請求方式主要包含get,post,另外還有put,head,delete,options等,但我們常用的、常見的還是get和post請求。

    get請求:get請求方式所有的參數(shù)都包含在URL地址里,get請求可以直接在瀏覽器地址欄內(nèi)輸入URL地址,然后直接訪問。

    post請求:比get方式多包含一個formdata數(shù)據(jù),且參數(shù)沒有在URL地址內(nèi)。不可以直接在地址欄訪問,需要構(gòu)造一個form表單,進(jìn)行提交訪問。

    同時post請求所有參數(shù)不顯示地址欄內(nèi),相對于get請求來說更安全。

  2)請求URL,URL全稱統(tǒng)一資源定位符,如一個網(wǎng)頁文檔、一張圖片、一個視頻等都可以用URL唯一來確定。

  3)請求頭,包含請求時的頭部信息,如User-Agent、Host、Cookies等信息,請求頭是一個很重要的參數(shù),在很多爬蟲里需要設(shè)置請求頭信息,

    一般權(quán)限驗證,瀏覽器類型等信息,如下圖所示:

python爬蟲---從零開始(一)初識爬蟲_第1張圖片

  4)請求體,請求時額外攜帶的數(shù)據(jù),如表單提交時的表單數(shù)據(jù),一般來說get方式請求時,都沒有請求體。

4,Response中包含什么?

  1)響應(yīng)狀態(tài),有多種響應(yīng)狀態(tài),如200代表成功,404找不到頁面,500服務(wù)器錯誤

    擴展:

-1xx :報告的 -請求被接收到,繼續(xù)處理

      -2xx :成功 - 被成功地接收(received),理解(understood),接受(accepted)的動作 。

      -3xx :重發(fā) - 為了完成請求必須采取進(jìn)一步的動作。

      -4xx :客戶端出錯 - 請求包括錯的語法或不能被滿足。

      -5xx :服務(wù)器出錯 - 服務(wù)器無法完成顯然有效的請求。

2)響應(yīng)頭,如內(nèi)容類型、內(nèi)容長度、服務(wù)器信息、設(shè)置Cookie等等信息。如圖所示:

python爬蟲---從零開始(一)初識爬蟲_第2張圖片

  3)響應(yīng)體,最主要的部分,包含了請求資源的內(nèi)容,如網(wǎng)頁HTML,圖片,二進(jìn)制數(shù)據(jù)(視頻,圖片等)等信息。

    我們爬取的數(shù)據(jù)大部分就是從這個部分獲取的

5,我們所需要的環(huán)境和資源

  1)python環(huán)境,最好是python3,python2在2020年就不再維護(hù)了,語法還是有一定差異的,我建議使用python3。

  2)redis,mongo分關(guān)系型數(shù)據(jù)庫,安裝過程自行百度。(后期會有專門的博客來說明講解非關(guān)系型數(shù)據(jù)庫)。

  3)scrapy環(huán)境,pip install scrapy即可安裝。

  4)Urllib庫,Requests庫,BeautifulSoup庫,PyQuery,Selenium和與其相關(guān)聯(lián)的環(huán)境配置(后面我們會逐個來說明每一個庫和其操作使用方法)。

?

總結(jié): 爬蟲是一個請求網(wǎng)站并且提取數(shù)據(jù)的自動化程序。有的是通過原生html標(biāo)簽就可以獲取到數(shù)據(jù),則有的需要通過解析ajax請求來取得數(shù)據(jù)。

?

             第一次寫博客,還是有點點緊張,我也是現(xiàn)學(xué)現(xiàn)賣的,歡迎斧正。謝謝...

?

?

?


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 亚洲九月天 | 激情综合网五月 | 国产精品成人扳一级aa毛片 | 色综合欧美综合天天综合 | 2021成人国产精品 | 欧美精品国产日韩综合在线 | 亚洲国产精品久久婷婷 | 欧美一区二区三区在观看 | 一级毛片高清免费播放 | 一个色中文字幕 | 国产精品亚洲精品久久成人 | 国产精品国产三级国产专区5o | 久久久久国产精品 | 亚洲综合日韩精品欧美综合区 | 四虎精品影院4hutv四虎 | 免费观看久久 | 久久99热66这里只有精品一 | 日本一本不卡 | 有色视频在线观看 | 四虎国产精品4hu永久 | 九九热香蕉视频 | 又粗又硬又大久久久 | 天啪天天久久天天综合啪 | 欧美成人毛片 | 国产精品综合一区二区三区 | 精品欧美一区手机在线观看 | 国产高清不卡一区二区三区 | 兽皇在线观看 | 午夜视频免费国产在线 | 久久综合热88 | 国产亚洲欧美日韩国产片 | 国产午夜免费视频 | 在线 | 一区二区三区四区 | 性欧美www | 亚洲精品在线视频观看 | 国产精品视频久久久 | 日日摸夜夜爽日日放碰 | 欧美日韩不卡码一区二区三区 | 久热爱免费精品视频在线播放 | 日韩精品一区二区三区中文字幕 | 狠狠久久久久久亚洲综合网 |