我們開始來談?wù)刾ython的爬蟲。
1，什么是爬蟲：
網(wǎng)絡(luò)爬蟲是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。互聯(lián)網(wǎng)猶如一個大蜘蛛網(wǎng)，我們的爬蟲就猶如一個蜘蛛，當(dāng)在互聯(lián)網(wǎng)遇到所需要的資源，我們就會爬取下來，即為爬蟲是一個請求網(wǎng)站 并且提取數(shù)據(jù)的自動化程序。
2，下面我們來提到兩個名詞：
1）請求，request即為我們的請求，當(dāng)我們在瀏覽器內(nèi)輸入網(wǎng)址，敲擊回車時，這時瀏覽器就會發(fā)送消息給該網(wǎng)址所在的服務(wù)器，這個過程叫做HTTP Request
2）響應(yīng)，response即為我們的響應(yīng)，服務(wù)器在接收到瀏覽器發(fā)送的消息后，能夠根據(jù)瀏覽器發(fā)送消息的內(nèi)容做出相應(yīng)的處理，然后把消息回傳給瀏覽器。這個過程就做HTTP Response。瀏覽器收到服務(wù)器的Response信息后，會對信息進(jìn)行處理，然后展示。
3，Request中包含什么？
1）請求方式，請求方式主要包含get，post，另外還有put，head，delete，options等，但我們常用的、常見的還是get和post請求。
get請求：get請求方式所有的參數(shù)都包含在URL地址里，get請求可以直接在瀏覽器地址欄內(nèi)輸入URL地址，然后直接訪問。
post請求：比get方式多包含一個formdata數(shù)據(jù)，且參數(shù)沒有在URL地址內(nèi)。不可以直接在地址欄訪問，需要構(gòu)造一個form表單，進(jìn)行提交訪問。
同時post請求所有參數(shù)不顯示地址欄內(nèi)，相對于get請求來說更安全。
2）請求URL，URL全稱統(tǒng)一資源定位符，如一個網(wǎng)頁文檔、一張圖片、一個視頻等都可以用URL唯一來確定。
3）請求頭，包含請求時的頭部信息，如User-Agent、Host、Cookies等信息，請求頭是一個很重要的參數(shù)，在很多爬蟲里需要設(shè)置請求頭信息，
一般權(quán)限驗證，瀏覽器類型等信息，如下圖所示：
4）請求體，請求時額外攜帶的數(shù)據(jù)，如表單提交時的表單數(shù)據(jù)，一般來說get方式請求時，都沒有請求體。
4，Response中包含什么？
1）響應(yīng)狀態(tài)，有多種響應(yīng)狀態(tài)，如200代表成功，404找不到頁面，500服務(wù)器錯誤
擴展：
-1xx ：報告的 -請求被接收到，繼續(xù)處理
-2xx ：成功 - 被成功地接收（received），理解（understood），接受（accepted）的動作 。
-3xx ：重發(fā) - 為了完成請求必須采取進(jìn)一步的動作。
-4xx ：客戶端出錯 - 請求包括錯的語法或不能被滿足。
-5xx ：服務(wù)器出錯 - 服務(wù)器無法完成顯然有效的請求。
2）響應(yīng)頭，如內(nèi)容類型、內(nèi)容長度、服務(wù)器信息、設(shè)置Cookie等等信息。如圖所示：
3）響應(yīng)體，最主要的部分，包含了請求資源的內(nèi)容，如網(wǎng)頁HTML，圖片，二進(jìn)制數(shù)據(jù)（視頻，圖片等）等信息。
我們爬取的數(shù)據(jù)大部分就是從這個部分獲取的
5，我們所需要的環(huán)境和資源
1）python環(huán)境，最好是python3，python2在2020年就不再維護(hù)了，語法還是有一定差異的，我建議使用python3。
2）redis，mongo分關(guān)系型數(shù)據(jù)庫，安裝過程自行百度。（后期會有專門的博客來說明講解非關(guān)系型數(shù)據(jù)庫）。
3）scrapy環(huán)境，pip install scrapy即可安裝。
4）Urllib庫，Requests庫，BeautifulSoup庫，PyQuery，Selenium和與其相關(guān)聯(lián)的環(huán)境配置（后面我們會逐個來說明每一個庫和其操作使用方法）。
?
總結(jié)： 爬蟲是一個請求網(wǎng)站并且提取數(shù)據(jù)的自動化程序。有的是通過原生html標(biāo)簽就可以獲取到數(shù)據(jù)，則有的需要通過解析ajax請求來取得數(shù)據(jù)。
?
第一次寫博客，還是有點點緊張，我也是現(xiàn)學(xué)現(xiàn)賣的，歡迎斧正。謝謝...
?
?
?
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
