我瀏覽了下網(wǎng)上關(guān)于怎么Python爬蟲入門的文章，發(fā)現(xiàn)有的還在教人用urllib來(lái)發(fā)送http請(qǐng)求，這真是有點(diǎn)誤人子弟了。本文也不提倡剛開始去學(xué)習(xí)第三方爬蟲框架，我想把要學(xué)習(xí)的知識(shí)簡(jiǎn)化一些，讓入門更快速，更專注。

Python爬蟲入門：技能

真要說(shuō)Python爬蟲需要具備什么知識(shí)，那就是你得會(huì)Python，哈哈。

其他的知識(shí)就是你能熟練運(yùn)用Python的幾個(gè)第三方庫(kù)，當(dāng)然你具備一點(diǎn)html javascript css http協(xié)議 可以提高你的解決問(wèn)題的效率，但這是一篇入門文章，我們不再這里討論。

為什么要這樣說(shuō)呢？先來(lái)說(shuō)說(shuō)爬蟲是怎么一會(huì)事。

Python爬蟲入門：爬蟲流程

爬蟲程序的完整流程是：

1.通過(guò)網(wǎng)絡(luò)編程把網(wǎng)站上的網(wǎng)頁(yè)請(qǐng)求下來(lái)；
2.對(duì)這些網(wǎng)頁(yè)做數(shù)據(jù)抽取；
3.把抽取出來(lái)的數(shù)據(jù)存進(jìn)數(shù)據(jù)庫(kù)(或文件)里。
4.循環(huán)重復(fù)上述步驟，為了抓取大量網(wǎng)頁(yè)。

下面對(duì)上述4個(gè)步驟做詳細(xì)說(shuō)明：

步驟1：怎么把網(wǎng)頁(yè)請(qǐng)求下來(lái)，你就使用 Python requests 庫(kù)好了。requests庫(kù)強(qiáng)大而簡(jiǎn)潔，他能幫你把網(wǎng)站上的網(wǎng)頁(yè)請(qǐng)求下來(lái)。
步驟2：對(duì)請(qǐng)求下來(lái)的網(wǎng)頁(yè)做數(shù)據(jù)抽取的方式很多。比如用lxml,xpath,BeautifulSoup這些Python庫(kù)，我這里對(duì)初學(xué)者推薦用正則式re庫(kù)，因?yàn)閘xml,xpath那些的學(xué)習(xí)時(shí)間要長(zhǎng)一點(diǎn)，而且對(duì)html要有點(diǎn)概念。你先學(xué)習(xí)下怎么寫正則表達(dá)式來(lái)抽取網(wǎng)頁(yè)里的數(shù)據(jù)。
步驟3：這很簡(jiǎn)單，你是練習(xí)的話，你就先把抽取的數(shù)據(jù)寫進(jìn)文件就好了。
步驟4：這是程序的設(shè)計(jì)邏輯問(wèn)題，其實(shí)跟爬蟲本身不相關(guān)，要能循環(huán)重復(fù)上面的步驟，最簡(jiǎn)單就是寫一個(gè)循環(huán)語(yǔ)句是吧。

一個(gè)爬蟲程序其實(shí)就是由上述幾個(gè)動(dòng)作構(gòu)成的，大量抓取網(wǎng)頁(yè)—>對(duì)抓取的網(wǎng)頁(yè)結(jié)構(gòu)化—->把結(jié)構(gòu)化的數(shù)據(jù)存進(jìn)數(shù)據(jù)庫(kù)—>重復(fù)上述步驟。

我們會(huì)在4個(gè)動(dòng)作上加入大量的代碼（這些代碼可能是你自己寫的，也可能是運(yùn)用第三方Python庫(kù)來(lái)輔助寫的），其目的就是保證上述四個(gè)動(dòng)作穩(wěn)定，高效，精準(zhǔn)。

比如要保證步驟1的穩(wěn)定抓取，你要對(duì)requests庫(kù)的請(qǐng)求做容錯(cuò)處理，記錄已經(jīng)抓取的URL，防止重抓取，研究http header和對(duì)方網(wǎng)站的訪問(wèn)頻率控制策略來(lái)降低你的爬蟲被屏蔽的概率。

比如要保證步驟2結(jié)構(gòu)化數(shù)據(jù)的準(zhǔn)確度，你就要用chrome瀏覽器去抓包，用正則表達(dá)式re庫(kù)久了，就會(huì)想要試著用下lxml,xpath看看解析網(wǎng)頁(yè)是否更快速，更準(zhǔn)確等。

比如步驟4，等你想要大量高效率抓取網(wǎng)頁(yè)時(shí)，你可能會(huì)想試著把程序改成異步IO，或者多線程等。

以上就會(huì)讓一個(gè)原本只有幾十行代碼的爬蟲程序，膨脹到上百行，過(guò)千行代碼，我們稱之為較為高可用，高效率的爬蟲程序。

Python爬蟲入門：多動(dòng)手練熟練

在實(shí)踐中提高Python爬蟲技能

我建議作為初學(xué)者，尤其如果你的Python又還不太熟悉時(shí)，你就從最簡(jiǎn)單爬蟲開始寫起，你用這個(gè)程序去抓取網(wǎng)頁(yè)，在這個(gè)抓取網(wǎng)頁(yè)的過(guò)程中，你會(huì)遇到形形色色的網(wǎng)絡(luò)問(wèn)題，網(wǎng)頁(yè)解析問(wèn)題，被屏蔽問(wèn)題，各種報(bào)錯(cuò)，遇到問(wèn)題就善用搜索引擎，去搜索解決方法，在解決這些問(wèn)題的過(guò)程中，你的知識(shí)就在鞏固和提高，你對(duì)爬蟲的認(rèn)知也在提高，這個(gè)時(shí)候你自己就會(huì)想有沒(méi)有第三方Pyhton庫(kù)可以來(lái)解決這些問(wèn)題，自己是不是還有些知識(shí)點(diǎn)欠缺，這個(gè)時(shí)候你再反過(guò)來(lái)去學(xué)習(xí)相關(guān)知識(shí)點(diǎn)，這時(shí)候你的接受程度和理解程度就快速和容易很多。

如果你依然在編程的世界里迷茫，可以加入我們的Python學(xué)習(xí)扣qun：784758214，看看前輩們是如何學(xué)習(xí)的！交流經(jīng)驗(yàn)！自己是一名高級(jí)python開發(fā)工程師，從基礎(chǔ)的python腳本到web開發(fā)、爬蟲、django、數(shù)據(jù)挖掘等，零基礎(chǔ)到項(xiàng)目實(shí)戰(zhàn)的資料都有整理。送給每一位python的小伙伴！分享一些學(xué)習(xí)的方法和需要注意的小細(xì)節(jié)，點(diǎn)擊加入我們的 python學(xué)習(xí)者聚集地

總結(jié)一下：

作為初學(xué)者，你先學(xué)習(xí)python requests庫(kù)和re正則表達(dá)庫(kù)后，就開始寫爬蟲吧，多動(dòng)手?jǐn)]碼比什么都重要。

PS:python requests 運(yùn)用熟練了，你就已能寫出一個(gè)有用處的爬蟲了。