亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務

系統 1570 0

Scrapy 是一個開源的?Python?數據抓取框架,速度快,強大,而且使用簡單。

來看一個官網主頁上的簡單并完整的爬蟲:

雖然只有10行左右的代碼,但是它的確是一個完整的爬蟲服務:

當執行scrapy runspider xxx.py命令的時候, Scrapy在項目里查找Spider(蜘蛛?)并通過爬蟲引擎來執行它。

首先從定義在start_urls里的URL開始發起請求,然后通過parse()方法處理響應。response參數就是返回的響應對象。

在parse()方法中,通過一個CSS選擇器獲取想要抓取的數據。

Scrapy所有的請求都是異步的,也就是說Scrapy不需要等一個請求完成才能處理下一條請求,而是同時發起另一條請求。

而且,異步請求的另一個好處是當某個請求失敗了,其他的請求不會受到影響。

安裝(Mac)

pip install scrapy

Scrapy中幾個需要了解的概念

Spiders

Spider類想要表達的是:如何抓取一個確定了的網站的數據。比如在start_urls里定義的去哪個鏈接抓取,parse()方法中定義的要抓取什么樣的數據。

當一個Spider開始執行的時候,它首先從start_urls()中的第一個鏈接開始發起請求,然后在callback里處理返回的數據。

Items

Item類提供格式化的數據,可以理解為數據Model類。

Selectors

Scrapy的Selector類基于lxml庫,提供HTML或XML轉換功能。以response對象作為參數生成的Selector實例即可通過實例對象的xpath()方法獲取節點的數據。

編寫一個Web爬蟲

接下來將上一個Beautiful Soup版的抓取書籍信息的例子(使用Beautiful Soup編寫一個爬蟲 系列隨筆匯總)改寫成Scrapy版本。

新建項目

scrapy startproject book_project

這行命令會創建一個名為book_project的項目。

編寫Item類

即實體類,代碼如下:

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第1張圖片

編寫Spider類

設置這個Spider的名稱,允許爬取的域名和從哪個鏈接開始:

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第2張圖片

遍歷分頁數據的方法

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第3張圖片

'//a'的意思所有的a標簽;

'//a[contains(@title, "Last Page →")' 的意思是在所有的a標簽中,title屬性包涵"Last Page →"的a標簽;

extract() 方法解析并返回符合條件的節點數據。

從allitebooks.com獲取書籍信息方法

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第4張圖片

從amazon.com獲取書籍價格方法? ? ? ? ? ??

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第5張圖片

啟動服務開始抓取

scrapy crawl bookinfo -o books.csv

-o books.csv?參數的意思是將抓取的Item集合輸出到csv文件。

結果:


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 伊人久久精品一区二区三区 | 天天操国产 | 欧美视频一区二区三区在线观看 | 国产激情视频在线观看首页 | 精品日韩一区二区三区视频 | 欧美性xxx久久 | 99婷婷久久精品国产一区二区 | 日本久久综合视频 | 久草在线在线精品观看 | 香蕉人人超人人超免费看视频 | 夜夜穞狠狠穞 | 9久热| 久久精品久久精品国产大片 | 12一14周岁毛片免费网站 | 国产目拍亚洲精品一区麻豆 | 狠狠色狠狠干 | www.久久色 | 国产香蕉精品视频在 | 综合热久久| 精品久久久久久久久免费影院 | 中文精品99久久国产 | 亚洲国产美女视频 | 国产一区二区在线视频观看 | 国产激情对白一区二区三区四 | 俺去也理论网站 | 四虎成人免费网址在线 | 嫩草成人国产精品 | 99久久精品国产片 | 97国产免费全部免费观看 | 桃花阁成人网在线观看 | 99精品中文字幕 | 日本三级带日本三级带黄首页 | 99久久做夜夜爱天天做精品 | 精品亚洲综合久久中文字幕 | 国产视频观看 | 三级a做爰大乳在线观看 | jizz中国视频 | 国产精品成人不卡在线观看 | 欧美aaa性bbb毛片 | 日本成人毛片 | 看真人一级毛片 |