爬蟲的概念：

爬蟲就是獲取網(wǎng)頁并提取和保存信息的自動化程序

爬蟲的分類：

主要有四類：

通用網(wǎng)絡(luò)爬蟲，聚焦網(wǎng)絡(luò)爬蟲，增量式網(wǎng)絡(luò)爬蟲，深層網(wǎng)絡(luò)爬蟲

爬蟲的流程：

常見的幾種爬蟲問題：

主要有五類：

靜態(tài)網(wǎng)頁的爬取，Ajax數(shù)據(jù)的爬取，動態(tài)渲染頁面爬取，驗(yàn)證碼的識別，代理的使用

常見的爬蟲框架：

pyspider框架，Scrapy框架

分布式爬蟲：

在多臺機(jī)器上運(yùn)行爬蟲程序

爬蟲的一些常用"庫"：

解析庫：lxml;Beautiful Soup;pyquery;tesserocr

請求庫：requests;

數(shù)據(jù)庫：MySql;MongoDB;Redis

Web庫：Flask；Tornado

了解熟練這些基本上就對爬蟲有了很深的理解了。

爬蟲項(xiàng)目實(shí)戰(zhàn)：

抓取貓眼電影排行，爬取淘寶商品，幾種驗(yàn)證碼的識別，使用代理爬取微信公眾號文章，使用Scrapy爬取新浪微博（分布式）

我會將自己所學(xué)的（以上所列的一一記錄在博客里），溫故而知新吧。

?

?

?