python網(wǎng)絡(luò)爬蟲-2019年我破解企業(yè)工商數(shù)據(jù)+商標(biāo)網(wǎng)+建筑招標(biāo)網(wǎng)數(shù)據(jù)-爬蟲技術(shù)分享
最近在深入研究人工智能“深度學(xué)習(xí)”TensorFlow技術(shù)，采用AI技術(shù)做數(shù)據(jù)爬蟲和數(shù)據(jù)挖掘的工作，AI技術(shù)主要是建立爬蟲的模型、深度訓(xùn)練機(jī)器人、樣本數(shù)據(jù)驗(yàn)證模型、最后我們的機(jī)器人就可以像我們千軍萬馬的真人在做爬蟲的工作了，解決了爬蟲界遇到的各種驗(yàn)證碼、封IP、加密的問題，可以說2019年是大數(shù)據(jù)的發(fā)起年，很多朋友都找我?guī)兔νㄟ^我的爬蟲技術(shù)解決數(shù)據(jù)源的問題，我們知道不管是做人工智能還是做大數(shù)據(jù)前提就是需要有數(shù)據(jù)，所以大數(shù)據(jù)是目前非常火的行業(yè)，也是很多有眼光的人進(jìn)軍大數(shù)據(jù)創(chuàng)業(yè)的原因！
二、工商網(wǎng)-企業(yè)數(shù)據(jù)-python數(shù)據(jù)挖掘技術(shù)分享（全國企業(yè)工商數(shù)據(jù)46個(gè)緯度的挖掘技術(shù)）
因?yàn)橐恢毖芯可疃扰老x前沿技術(shù)，最近有幾個(gè)創(chuàng)業(yè)的朋友找我?guī)兔⑵髽I(yè)大數(shù)據(jù)庫和政策庫大數(shù)據(jù)，因?yàn)槲仪岸螘r(shí)間剛剛幫朋友完成了“天謀查和企謀查”企業(yè)庫數(shù)據(jù)的分布式爬蟲系統(tǒng)的研發(fā)，解決了封IP技術(shù)和驗(yàn)證碼破解、vip模擬登陸爬數(shù)據(jù)問題，其中企業(yè)工商數(shù)據(jù)我當(dāng)時(shí)挖掘的數(shù)據(jù)緯度包含46個(gè)數(shù)據(jù)緯度，每一個(gè)緯度就是一個(gè)數(shù)據(jù)表。
利用爬蟲技術(shù)，實(shí)現(xiàn)那么多企業(yè)數(shù)據(jù)的網(wǎng)絡(luò)數(shù)據(jù)挖掘，需要足夠多的服務(wù)器和大數(shù)據(jù)搜索引擎架構(gòu)，首先我對(duì)企業(yè)進(jìn)行了按城市維度進(jìn)行分庫，全國每個(gè)城市都建立一個(gè)自己的數(shù)據(jù)庫，然后自己利用Python爬蟲技術(shù)+企業(yè)詞庫+代理IP池+分布式多進(jìn)程的技術(shù)架構(gòu)開發(fā)了一套“企業(yè)大數(shù)據(jù)深度挖掘系統(tǒng)”。我們目前比較流行的數(shù)據(jù)挖掘技術(shù)的開發(fā)語言就是python，因?yàn)閜ython擁有非常完整的各種庫可以直接使用，比如: 圖像識(shí)別庫、requests庫等等。
2.1 工商企業(yè)大數(shù)據(jù)面臨的問題：
其實(shí)我破解爬取天某查、企某查這些網(wǎng)站做企業(yè)大數(shù)據(jù)深度挖掘系統(tǒng)的研發(fā)的時(shí)候需要解決以下三個(gè)問題：
1 破解驗(yàn)證碼 完成vip自動(dòng)登錄 采集到完整的vip數(shù)據(jù)
2 數(shù)據(jù)的結(jié)構(gòu)化和數(shù)據(jù)清洗，把數(shù)據(jù)清洗到數(shù)據(jù)庫
3 數(shù)據(jù)的批量分布式、多進(jìn)程、 多任務(wù)的爬取 解決全量爬取速度問題
2.2問題解決方案分享：
因?yàn)橄裉炷巢椤⑵竽巢檫@種網(wǎng)站，如果不是vip會(huì)員登陸 ，手機(jī)號(hào)碼和郵箱這些比較重要的數(shù)據(jù)我們是看不到的，都是需要用vip登陸才能看到，所以要拿到完整的數(shù)據(jù)就需要破解vip登陸，拿到vip的完整數(shù)據(jù)，一旦把vip破解了就像闖入無人空曠的平原想拿什么數(shù)據(jù)就拿什么數(shù)據(jù)了。下面的問題就是如何解決全量爬取數(shù)據(jù)問題，那么多企業(yè)數(shù)據(jù)我想一個(gè)月全部完成可以嗎？從技術(shù)角度是100%可以的，只要我們把程序架構(gòu)做成分布式+多進(jìn)程+多任務(wù)就可以實(shí)現(xiàn)想爬多少就爬多少，但是有一個(gè)問題就是我們的需要服務(wù)器需要足夠多哦，否則你一臺(tái)電腦開100個(gè)進(jìn)程也沒有用速度也就是那么一點(diǎn)了。分布式就是爬蟲程序部署放到10臺(tái)電腦去，如果你實(shí)在沒有電腦就到網(wǎng)吧去，把爬蟲端在網(wǎng)吧電腦去行幾天估計(jì)全部爬完了，這樣快速解決全量爬取的問題。所以我當(dāng)時(shí)在開發(fā)企業(yè)工商大數(shù)據(jù)深度挖掘系統(tǒng)的時(shí)候系統(tǒng)架構(gòu)我分為了 爬蟲端+數(shù)據(jù)庫+代理IP池+cookies池+企業(yè)詞庫+數(shù)據(jù)管理后臺(tái)，等一整套的數(shù)據(jù)挖掘、數(shù)據(jù)清洗、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理的解決方案。
（歡迎對(duì)爬蟲技術(shù)和大數(shù)據(jù)挖掘感興趣朋友加我qq：2779571288）
三、商標(biāo)網(wǎng)-Python爬蟲破解技術(shù)分享：
因?yàn)橐恢睆氖聰?shù)據(jù)深度挖掘、網(wǎng)絡(luò)深度爬蟲的技術(shù)研究，從幫電商公司做過淘寶店鋪商品的一鍵搬家，把淘寶商品通過爬蟲技術(shù)一鍵復(fù)制到您的網(wǎng)站去，到通過AI圖像識(shí)別技術(shù)做競(jìng)品分析、再導(dǎo)通過網(wǎng)絡(luò)爬蟲技術(shù)做幫朋友做的輿情監(jiān)控、再到企業(yè)工商大數(shù)據(jù)的深度挖掘、商標(biāo)網(wǎng)的大數(shù)據(jù)挖掘等等幾乎國內(nèi)核心的比較大的網(wǎng)站反爬機(jī)制都摸清了一遍，再眾多網(wǎng)絡(luò)深度挖掘技術(shù)的過程中，不同的網(wǎng)站才有不同的反爬技術(shù)，比如天某查 才有的是vip登陸+驗(yàn)證碼技術(shù)，再比如淘寶采用的是封IP的反爬技術(shù)，不登錄也可以搜索到商品數(shù)據(jù)，但是那么多網(wǎng)站中度商標(biāo)網(wǎng)是最難爬取的一個(gè)，說起商標(biāo)網(wǎng)難爬并不代表它的反爬技術(shù)有多牛，其實(shí)商標(biāo)網(wǎng)的反爬技術(shù)還沒有天某查的牛，主要是商標(biāo)網(wǎng)犧牲了用戶體驗(yàn)來攔截爬蟲大量爬取它數(shù)據(jù)，商標(biāo)網(wǎng)的反爬技術(shù)包含下面2部分:
3.1 商標(biāo)網(wǎng)-采取的url訪問跟蹤加密技術(shù)：
商標(biāo)網(wǎng)犧牲了用戶體驗(yàn)，每次對(duì)商標(biāo)注冊(cè)號(hào)查詢必須先進(jìn)入搜索頁面然后搜索注冊(cè)號(hào)去爬取，如果你直不經(jīng)過主頁和列表頁就直接訪問詳細(xì)頁面是直接被封的，也就是這個(gè)詳細(xì)頁的URL是經(jīng)過首頁的訪問cookie+列表頁cookie+過期時(shí)間的跟蹤加密處理的，所以要爬取它的數(shù)據(jù)不得不從這個(gè)模擬搜索注冊(cè)號(hào)然后模擬點(diǎn)擊進(jìn)入詳細(xì)頁然后爬取詳細(xì)頁和商標(biāo)流程頁面的數(shù)據(jù)，這樣我們一樣是爬取得到數(shù)據(jù)，只是爬取速度有點(diǎn)慢，因?yàn)槲覀儽仨毿枰裱F(xiàn)在進(jìn)入搜索頁去模擬搜索注冊(cè)號(hào)然后再模擬點(diǎn)擊進(jìn)入詳細(xì)頁，這樣速度就慢很多。
3.2 商標(biāo)網(wǎng)-采取了封IP反爬技術(shù)：
商標(biāo)網(wǎng)除了跟蹤訪問路徑url外，還采取了封IP技術(shù)，也就是當(dāng)你不斷的去模擬搜索注冊(cè)號(hào)或者模擬搜索公司得到詳細(xì)頁數(shù)據(jù)的時(shí)候，它會(huì)監(jiān)控您的IP，如果發(fā)現(xiàn)您的IP操作太頻繁直接把您IP拉黑封掉，你再也打開不了商標(biāo)網(wǎng)站了。需要過一天或者一段時(shí)間才給您重新放出來。所以解決這個(gè)封IP很簡單，我當(dāng)時(shí)做商標(biāo)網(wǎng)大數(shù)據(jù)深度挖掘系統(tǒng)的架構(gòu)的時(shí)候，系統(tǒng)架構(gòu)上包含了： 爬蟲端+代理IP池+模擬AI人工智能技術(shù)+多進(jìn)程 解決它的反爬問題以及爬取速度的問題。下面給大家解釋一下代理IP池：
代理IP池：也許您會(huì)問這個(gè)代理IP池是做什么，又是怎么實(shí)現(xiàn)的呢？我們?cè)谂谰W(wǎng)站的時(shí)候，需要用代理ip不能用我們自己電腦的IP去爬，原因是在你電腦直接運(yùn)行代碼那么爬蟲的IP就是你電腦的IP ，如果一直頻繁的去采集對(duì)方的網(wǎng)站，那么對(duì)方會(huì)檢測(cè)到您的IP直接把您的IP列入黑名單導(dǎo)致你以后在也采集不了了。所以我所有的批量采集爬蟲都采用代理IP去爬的，python怎么采用代理IP呢？其實(shí)很簡單就那么一行代碼就解決：
resp = requests.get(url, headers=self.headers, timeout=20, proxies=proxy)
我們調(diào)用的是 requests的get方法 里面有url、和headers以及 , proxies代理IP設(shè)置的參數(shù)。
url：就是我們采集的目標(biāo)網(wǎng)站地址
headers：就是我們模擬訪問對(duì)方網(wǎng)站時(shí)候需要模擬的頭參數(shù)（這個(gè)參數(shù)怎么來呢，其實(shí)很簡單，直接用火狐打開對(duì)方網(wǎng)站 查看網(wǎng)絡(luò)里面有和請(qǐng)求頭 那些參數(shù)復(fù)制過來即可）
Proxies：就是我們的設(shè)置我們的代理IP，代理IP是什么意思呢？代理服務(wù)器的工作機(jī)制很象我們生活中常常提及的代理商，假設(shè)你的機(jī)器為A機(jī)，你想獲得的數(shù)據(jù)由B機(jī)提供，代理服務(wù)器為C機(jī)，那么具體的連接過程是這樣的。 首先，A它與C機(jī)建立連接把請(qǐng)求發(fā)給C，C機(jī)接收到A機(jī)的數(shù)據(jù)請(qǐng)求后馬上與B機(jī)建立連接，下載A機(jī)所請(qǐng)求的B機(jī)上的數(shù)據(jù)到本地，再將此數(shù)據(jù)發(fā)送至A機(jī)，完成代理任務(wù)。這樣下載對(duì)方網(wǎng)站的數(shù)據(jù)的是代理服務(wù)器，而這個(gè)代理服務(wù)器IP是隨機(jī)變動(dòng)，對(duì)方就抓不到是誰一直采集他的數(shù)據(jù)了。那這個(gè)代理ip我們清楚了，這個(gè)ip代理池又是什么呢？我們運(yùn)行我們的python程序的時(shí)候，每秒發(fā)一個(gè)http請(qǐng)求去爬對(duì)方網(wǎng)站一次，請(qǐng)求一次需要一個(gè)IP，那么這個(gè)ip怎么來呢？我們可以網(wǎng)上購買第三方那種ip接口，比如：每10秒中會(huì)返回1個(gè)IP給我們用，如果我們每次爬數(shù)據(jù)都先要調(diào)取代理IP接口得到IP了再去爬對(duì)方網(wǎng)站 那么這個(gè)效率和代碼質(zhì)量就低了，因?yàn)槿思沂?0秒中才一個(gè)IP，您的程序速度和效率就直接卡在因?yàn)榇鞩P接口控制問題了，所以這個(gè)時(shí)候您需要改進(jìn)代理IP代碼架構(gòu)，首先每10秒中讀取代理IP接口得到的IP 緩存到reis去，并且設(shè)置60秒過期，那么這個(gè)redis就會(huì)形成一個(gè)代理IP池了，您的程序代碼爬對(duì)方網(wǎng)站時(shí)候直接從redis讀取IP去爬，這樣速度就快了，程序架構(gòu)就優(yōu)化了。
采集速度太頻繁了，會(huì)被封IP問題 怎么解決
當(dāng)我們發(fā)出去的http請(qǐng)求到天謀查網(wǎng)站的時(shí)候，正常情況下返回200狀態(tài)，說明請(qǐng)求合法被接受，而且會(huì)看到返回的數(shù)據(jù)，但是天謀查有自己的一套反爬機(jī)制算法，如果檢查到同一個(gè)IP來不斷的采集他網(wǎng)站的數(shù)據(jù)，那么他會(huì)被這個(gè)IP列入異常黑名單，您再去采集它網(wǎng)站數(shù)據(jù)的時(shí)候，那么就永遠(yuǎn)被攔截了。怎么解決這個(gè)問題呢，其實(shí)很簡單，沒有錯(cuò)用代理IP去訪問，每一次請(qǐng)求的時(shí)候都采用代理IP方式去請(qǐng)求，而且這個(gè)代理IP是隨機(jī)變動(dòng)的，每次請(qǐng)求都不同，所以用這個(gè)代理IP技術(shù)解決了被封的問題。
自己搭建代理池ip
做爬蟲技術(shù)都知道，代理IP的質(zhì)量決定了爬蟲的效率，要想爬快一點(diǎn)，必須選擇質(zhì)量好，高匿名、不重復(fù)、時(shí)間長的IP，在選擇代理IP的時(shí)候，市場(chǎng)價(jià)格好的搭理IP一般是6000/月，所以當(dāng)時(shí)為了避免這個(gè)費(fèi)用成本，就自己搭建了自己IP代理池，利用技術(shù)優(yōu)勢(shì)節(jié)省了一大截成本。
爬天某查是怎么知道我們使用代理IP的呢？
想知道代理IP的問題，我先要理解清楚 代理IP里的“透明”“匿名”“高匿”分別是指什么：
透明代理IP：:就是我們用這個(gè)代理IP去采集天眼查的時(shí)候，不會(huì)隱藏我們自己的IP,我們的IP一種是暴漏透明的，那么天某查會(huì)很快識(shí)別到同一個(gè)客戶端IP重復(fù)訪問采集它的網(wǎng)站數(shù)據(jù)，就會(huì)把這個(gè)IP拉入黑名單做個(gè)標(biāo)記，下次你在去采集的時(shí)候直接被封了。
普通匿名代理IP：能隱藏我們客戶機(jī)的真實(shí)IP，但是有一個(gè)壞處就是但會(huì)改變我們的請(qǐng)求信息，天某查有可能會(huì)認(rèn)為我們使用了代理。不過使用此種代理時(shí)，雖然被訪問的網(wǎng)站不能知道你的ip地址，但仍然可以知道你在使用代理，當(dāng)然某些能夠偵測(cè)ip的網(wǎng)頁仍然可以查到你的ip，所以這種IP是不適合去采集天眼查的數(shù)據(jù)的。
高匿名代理IP: 這種IP是不會(huì)改變客戶機(jī)的請(qǐng)求，這樣在服務(wù)器看來就像有個(gè)真正的客戶用瀏覽器在訪問它，這時(shí)客戶的真實(shí)IP是隱藏的，服務(wù)器端（天眼查）不會(huì)認(rèn)為我們使用了代理，我們?cè)诓杉煅鄄榈膽?yīng)該選用這種高匿名的IP，那么哪里去找這種代理IP呢，下面的小結(jié)將會(huì)給大家介紹。
想要解決繞過天眼查驗(yàn)證碼爬數(shù)據(jù)的問題，首先我們要分析是在什么情況下才會(huì)出現(xiàn)驗(yàn)證碼，天眼查是通過以下兩種方式進(jìn)行識(shí)別我們是否瀏覽器訪問還是爬蟲訪問：
怎么知道天某查封了我們的IP呢？
您去爬天某查的時(shí)候，如果您的IP被封或者不正常，天某查就會(huì)返回登錄頁面，出現(xiàn)登錄界面就說明您的ip被封了，或者被監(jiān)控到異常了。所以我們?cè)谂罃?shù)據(jù)的時(shí)候，用正則匹配一下是否有注冊(cè)登錄的界面html標(biāo)簽字符，如果出現(xiàn)登錄界面馬上重新?lián)Q一個(gè)IP重新請(qǐng)求，就一直執(zhí)行循環(huán)直到換到正常的可用的IP為止即可。
為什么采用代理IP后還是被封了？
我們做爬蟲的時(shí)候不能使用自己電腦的IP去循環(huán)采集天某查網(wǎng)站否則會(huì)直接封IP，或者出現(xiàn)驗(yàn)證碼，要解決這個(gè)問題其實(shí)很簡單就是采用動(dòng)態(tài)的代理IP,但是呢很多人用代理IP還是出現(xiàn)會(huì)封，其實(shí)原因是您用的這個(gè)代理IP質(zhì)量不行，或者你用的是那種、免費(fèi)的代理IP。使用代理IP還是被封會(huì)有以下原因：
（1） 您的代理IP失效時(shí)間太短，還沒成完一個(gè)http請(qǐng)求就失效了，導(dǎo)致永遠(yuǎn)被封或者無效
（2） 您的代理IP網(wǎng)絡(luò)不到達(dá)不通導(dǎo)致
（3） 你的代理IP不是高匿名的，直接被識(shí)別出來
（4） 您的代理IP已經(jīng)被其他人用過爬天某查了，早被列入黑名單，導(dǎo)致你永遠(yuǎn)IP被封。
（5） 你是不是老是一直用幾個(gè)代理IP循環(huán)去爬？正確做法是每個(gè)請(qǐng)求都隨機(jī)換不同IP，所以您需要網(wǎng)上選那種不限制數(shù)量的代理IP,而不是固定幾個(gè)IP。
4、爬天某查應(yīng)該選用什么樣的代理IP？
建議您的代理IP應(yīng)該滿足以下要求：
(1) 、高匿名，普通匿名不行，一定是高匿名
(2) 、有效期時(shí)間長，至少2分鐘之內(nèi)是有效的
(3) 、不重復(fù)，至少在30天內(nèi)不重復(fù)的IP
、不限量，每天IP的數(shù)據(jù)不限制，隨機(jī)改變。
時(shí)間有限，先分享到這里，我得寫代碼去…
本文為張軍原創(chuàng)文章,轉(zhuǎn)載無需和我聯(lián)系,但請(qǐng)注明來自張軍的軍軍小站,個(gè)人博客http://m.eyofj.com
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
