亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務

系統 1570 0

Scrapy 是一個開源的?Python?數據抓取框架,速度快,強大,而且使用簡單。

來看一個官網主頁上的簡單并完整的爬蟲:

雖然只有10行左右的代碼,但是它的確是一個完整的爬蟲服務:

當執行scrapy runspider xxx.py命令的時候, Scrapy在項目里查找Spider(蜘蛛?)并通過爬蟲引擎來執行它。

首先從定義在start_urls里的URL開始發起請求,然后通過parse()方法處理響應。response參數就是返回的響應對象。

在parse()方法中,通過一個CSS選擇器獲取想要抓取的數據。

Scrapy所有的請求都是異步的,也就是說Scrapy不需要等一個請求完成才能處理下一條請求,而是同時發起另一條請求。

而且,異步請求的另一個好處是當某個請求失敗了,其他的請求不會受到影響。

安裝(Mac)

pip install scrapy

Scrapy中幾個需要了解的概念

Spiders

Spider類想要表達的是:如何抓取一個確定了的網站的數據。比如在start_urls里定義的去哪個鏈接抓取,parse()方法中定義的要抓取什么樣的數據。

當一個Spider開始執行的時候,它首先從start_urls()中的第一個鏈接開始發起請求,然后在callback里處理返回的數據。

Items

Item類提供格式化的數據,可以理解為數據Model類。

Selectors

Scrapy的Selector類基于lxml庫,提供HTML或XML轉換功能。以response對象作為參數生成的Selector實例即可通過實例對象的xpath()方法獲取節點的數據。

編寫一個Web爬蟲

接下來將上一個Beautiful Soup版的抓取書籍信息的例子(使用Beautiful Soup編寫一個爬蟲 系列隨筆匯總)改寫成Scrapy版本。

新建項目

scrapy startproject book_project

這行命令會創建一個名為book_project的項目。

編寫Item類

即實體類,代碼如下:

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第1張圖片

編寫Spider類

設置這個Spider的名稱,允許爬取的域名和從哪個鏈接開始:

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第2張圖片

遍歷分頁數據的方法

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第3張圖片

'//a'的意思所有的a標簽;

'//a[contains(@title, "Last Page →")' 的意思是在所有的a標簽中,title屬性包涵"Last Page →"的a標簽;

extract() 方法解析并返回符合條件的節點數據。

從allitebooks.com獲取書籍信息方法

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第4張圖片

從amazon.com獲取書籍價格方法? ? ? ? ? ??

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第5張圖片

啟動服務開始抓取

scrapy crawl bookinfo -o books.csv

-o books.csv?參數的意思是將抓取的Item集合輸出到csv文件。

結果:


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 久久88香港三级台湾三级中文 | 欧美第一精品 | 亚洲综合网在线观看 | 色88888久久久久久影院 | 成人午夜亚洲影视在线观看 | 亚洲午夜天堂 | 草草影院国产第一页 | 日本一级一片免在线观看 | 国产福利在线 | 久久久久综合中文字幕 | 亚洲专区中文字幕 | 国产男女爽爽爽免费视频 | 一区二区三区网站在线免费线观看 | 国产美女亚洲精品久久久久久 | 欧美一级艳片视频免费观看 | 永久久久免费浮力影院 | 一级免费片 | 精品国产欧美一区二区 | 欧美a级成人淫片免费看 | 一级一片免费看 | 在线看片黄色 | 99视频网址| 久久亚洲精品中文字幕三区 | 97精品久久久久中文字幕 | 毛片免费观看日本中文 | 国产精品亚洲综合久久 | 国产国产精品人在线观看 | 国产欧美综合在线一区二区三区 | 99视频99| 久久国产高清一区二区三区 | 日韩一区二区超清视频 | 亚洲激情视频 | 国产视频久 | 久草视频在线资源 | 中国明星一级毛片免费 | 韩国高清不卡一区二区 | 色99视频| 综合好色| 黄色成人免费网站 | 亚洲精品一线观看 | 成人性视频免费网站 |