亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python爬蟲---從零開始(一)初識爬蟲

系統(tǒng) 1546 0

  我們開始來談?wù)刾ython的爬蟲。

1,什么是爬蟲:

網(wǎng)絡(luò)爬蟲是一種按照一定的規(guī)則,自動地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。互聯(lián)網(wǎng)猶如一個大蜘蛛網(wǎng),我們的爬蟲就猶如一個蜘蛛,當(dāng)在互聯(lián)網(wǎng)遇到所需要的資源,我們就會爬取下來,即為爬蟲是一個請求網(wǎng)站 并且提取數(shù)據(jù)的自動化程序。

2,下面我們來提到兩個名詞:

  1)請求,request即為我們的請求,當(dāng)我們在瀏覽器內(nèi)輸入網(wǎng)址,敲擊回車時,這時瀏覽器就會發(fā)送消息給該網(wǎng)址所在的服務(wù)器,這個過程叫做HTTP Request

  2)響應(yīng),response即為我們的響應(yīng),服務(wù)器在接收到瀏覽器發(fā)送的消息后,能夠根據(jù)瀏覽器發(fā)送消息的內(nèi)容做出相應(yīng)的處理,然后把消息回傳給瀏覽器。這個過程就做HTTP Response。瀏覽器收到服務(wù)器的Response信息后,會對信息進(jìn)行處理,然后展示。

3,Request中包含什么?

  1)請求方式,請求方式主要包含get,post,另外還有put,head,delete,options等,但我們常用的、常見的還是get和post請求。

    get請求:get請求方式所有的參數(shù)都包含在URL地址里,get請求可以直接在瀏覽器地址欄內(nèi)輸入URL地址,然后直接訪問。

    post請求:比get方式多包含一個formdata數(shù)據(jù),且參數(shù)沒有在URL地址內(nèi)。不可以直接在地址欄訪問,需要構(gòu)造一個form表單,進(jìn)行提交訪問。

    同時post請求所有參數(shù)不顯示地址欄內(nèi),相對于get請求來說更安全。

  2)請求URL,URL全稱統(tǒng)一資源定位符,如一個網(wǎng)頁文檔、一張圖片、一個視頻等都可以用URL唯一來確定。

  3)請求頭,包含請求時的頭部信息,如User-Agent、Host、Cookies等信息,請求頭是一個很重要的參數(shù),在很多爬蟲里需要設(shè)置請求頭信息,

    一般權(quán)限驗證,瀏覽器類型等信息,如下圖所示:

python爬蟲---從零開始(一)初識爬蟲_第1張圖片

  4)請求體,請求時額外攜帶的數(shù)據(jù),如表單提交時的表單數(shù)據(jù),一般來說get方式請求時,都沒有請求體。

4,Response中包含什么?

  1)響應(yīng)狀態(tài),有多種響應(yīng)狀態(tài),如200代表成功,404找不到頁面,500服務(wù)器錯誤

    擴展:

-1xx :報告的 -請求被接收到,繼續(xù)處理

      -2xx :成功 - 被成功地接收(received),理解(understood),接受(accepted)的動作 。

      -3xx :重發(fā) - 為了完成請求必須采取進(jìn)一步的動作。

      -4xx :客戶端出錯 - 請求包括錯的語法或不能被滿足。

      -5xx :服務(wù)器出錯 - 服務(wù)器無法完成顯然有效的請求。

2)響應(yīng)頭,如內(nèi)容類型、內(nèi)容長度、服務(wù)器信息、設(shè)置Cookie等等信息。如圖所示:

python爬蟲---從零開始(一)初識爬蟲_第2張圖片

  3)響應(yīng)體,最主要的部分,包含了請求資源的內(nèi)容,如網(wǎng)頁HTML,圖片,二進(jìn)制數(shù)據(jù)(視頻,圖片等)等信息。

    我們爬取的數(shù)據(jù)大部分就是從這個部分獲取的

5,我們所需要的環(huán)境和資源

  1)python環(huán)境,最好是python3,python2在2020年就不再維護(hù)了,語法還是有一定差異的,我建議使用python3。

  2)redis,mongo分關(guān)系型數(shù)據(jù)庫,安裝過程自行百度。(后期會有專門的博客來說明講解非關(guān)系型數(shù)據(jù)庫)。

  3)scrapy環(huán)境,pip install scrapy即可安裝。

  4)Urllib庫,Requests庫,BeautifulSoup庫,PyQuery,Selenium和與其相關(guān)聯(lián)的環(huán)境配置(后面我們會逐個來說明每一個庫和其操作使用方法)。

?

總結(jié): 爬蟲是一個請求網(wǎng)站并且提取數(shù)據(jù)的自動化程序。有的是通過原生html標(biāo)簽就可以獲取到數(shù)據(jù),則有的需要通過解析ajax請求來取得數(shù)據(jù)。

?

             第一次寫博客,還是有點點緊張,我也是現(xiàn)學(xué)現(xiàn)賣的,歡迎斧正。謝謝...

?

?

?


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 日本中文字幕一区二区有码在线 | 国产婷婷丁香久久综合 | 四虎b7s22c0m| 国产精品精品视频 | 免费观看四虎精品成人 | 日韩国产欧美视频 | 五月婷婷色视频 | 日韩欧美一区二区三区久久 | 亚洲综合一区二区精品久久 | 久久久久无码国产精品一区 | 俺去鲁婷婷六月色综合 | 国产一区二区三区在线免费观看 | 综合亚洲精品一区二区三区 | 免费女人18a级毛片视频 | 成人爽a毛片在线视频网站 成人爽视频 | 免费高清在线爱做视频 | 日韩欧美精品综合一区二区三区 | 天天摸天天草 | 中文字幕亚洲欧美 | 久久亚洲综合伊人 | 成人网18免费视频 | 四虎影视成人 | 精品久久久久久中文字幕 | 久久国产亚洲精品麻豆 | 大色综合色综合资源站 | 久草视频精品 | 国产21区 | 精品哟啊呦v视频在线观看 精品哟哟国产在线观看 | 四虎影视在线看免费 720p | 久久久久久青草大香综合精品 | 日韩欧美亚洲一区精选 | 狠狠色噜噜狠狠狠狠97影音先锋 | 精品国产一区二区在线观看 | 亚洲一级免费毛片 | 99热这里只有精品在在 | 国产精品美女久久久久网 | 毛片免费在线视频 | 日韩免费精品一级毛片 | 亚洲啪视频 | 国产成人a毛片在线 | 99热这里只有精品9 99热这里只有精品99 |