Scrapy 是一個開源的?Python?數據抓取框架,速度快,強大,而且使用簡單。
來看一個官網主頁上的簡單并完整的爬蟲:
雖然只有10行左右的代碼,但是它的確是一個完整的爬蟲服務:
當執行scrapy runspider xxx.py命令的時候, Scrapy在項目里查找Spider(蜘蛛?)并通過爬蟲引擎來執行它。
首先從定義在start_urls里的URL開始發起請求,然后通過parse()方法處理響應。response參數就是返回的響應對象。
在parse()方法中,通過一個CSS選擇器獲取想要抓取的數據。
Scrapy所有的請求都是異步的,也就是說Scrapy不需要等一個請求完成才能處理下一條請求,而是同時發起另一條請求。
而且,異步請求的另一個好處是當某個請求失敗了,其他的請求不會受到影響。
安裝(Mac)
pip install scrapy
Scrapy中幾個需要了解的概念
Spiders
Spider類想要表達的是:如何抓取一個確定了的網站的數據。比如在start_urls里定義的去哪個鏈接抓取,parse()方法中定義的要抓取什么樣的數據。
當一個Spider開始執行的時候,它首先從start_urls()中的第一個鏈接開始發起請求,然后在callback里處理返回的數據。
Items
Item類提供格式化的數據,可以理解為數據Model類。
Selectors
Scrapy的Selector類基于lxml庫,提供HTML或XML轉換功能。以response對象作為參數生成的Selector實例即可通過實例對象的xpath()方法獲取節點的數據。
編寫一個Web爬蟲
接下來將上一個Beautiful Soup版的抓取書籍信息的例子(使用Beautiful Soup編寫一個爬蟲 系列隨筆匯總)改寫成Scrapy版本。
新建項目
scrapy startproject book_project
這行命令會創建一個名為book_project的項目。
編寫Item類
即實體類,代碼如下:
編寫Spider類
設置這個Spider的名稱,允許爬取的域名和從哪個鏈接開始:
遍歷分頁數據的方法
'//a'的意思所有的a標簽;
'//a[contains(@title, "Last Page →")' 的意思是在所有的a標簽中,title屬性包涵"Last Page →"的a標簽;
extract() 方法解析并返回符合條件的節點數據。
從allitebooks.com獲取書籍信息方法
從amazon.com獲取書籍價格方法? ? ? ? ? ??
啟動服務開始抓取
scrapy crawl bookinfo -o books.csv
-o books.csv?參數的意思是將抓取的Item集合輸出到csv文件。
結果:
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
