亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務

系統 1570 0

Scrapy 是一個開源的?Python?數據抓取框架,速度快,強大,而且使用簡單。

來看一個官網主頁上的簡單并完整的爬蟲:

雖然只有10行左右的代碼,但是它的確是一個完整的爬蟲服務:

當執行scrapy runspider xxx.py命令的時候, Scrapy在項目里查找Spider(蜘蛛?)并通過爬蟲引擎來執行它。

首先從定義在start_urls里的URL開始發起請求,然后通過parse()方法處理響應。response參數就是返回的響應對象。

在parse()方法中,通過一個CSS選擇器獲取想要抓取的數據。

Scrapy所有的請求都是異步的,也就是說Scrapy不需要等一個請求完成才能處理下一條請求,而是同時發起另一條請求。

而且,異步請求的另一個好處是當某個請求失敗了,其他的請求不會受到影響。

安裝(Mac)

pip install scrapy

Scrapy中幾個需要了解的概念

Spiders

Spider類想要表達的是:如何抓取一個確定了的網站的數據。比如在start_urls里定義的去哪個鏈接抓取,parse()方法中定義的要抓取什么樣的數據。

當一個Spider開始執行的時候,它首先從start_urls()中的第一個鏈接開始發起請求,然后在callback里處理返回的數據。

Items

Item類提供格式化的數據,可以理解為數據Model類。

Selectors

Scrapy的Selector類基于lxml庫,提供HTML或XML轉換功能。以response對象作為參數生成的Selector實例即可通過實例對象的xpath()方法獲取節點的數據。

編寫一個Web爬蟲

接下來將上一個Beautiful Soup版的抓取書籍信息的例子(使用Beautiful Soup編寫一個爬蟲 系列隨筆匯總)改寫成Scrapy版本。

新建項目

scrapy startproject book_project

這行命令會創建一個名為book_project的項目。

編寫Item類

即實體類,代碼如下:

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第1張圖片

編寫Spider類

設置這個Spider的名稱,允許爬取的域名和從哪個鏈接開始:

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第2張圖片

遍歷分頁數據的方法

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第3張圖片

'//a'的意思所有的a標簽;

'//a[contains(@title, "Last Page →")' 的意思是在所有的a標簽中,title屬性包涵"Last Page →"的a標簽;

extract() 方法解析并返回符合條件的節點數據。

從allitebooks.com獲取書籍信息方法

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第4張圖片

從amazon.com獲取書籍價格方法? ? ? ? ? ??

python使用Scrapy框架編寫一個抓取書籍信息的爬蟲服務_第5張圖片

啟動服務開始抓取

scrapy crawl bookinfo -o books.csv

-o books.csv?參數的意思是將抓取的Item集合輸出到csv文件。

結果:


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 成熟热自由日本语亚洲人 | 久久综合久久自在自线精品自 | 激情影院在线 | 精品乱码一区二区三区四区 | 色婷婷视频在线观看 | 免费播放美女一级毛片 | 久热精品视频在线播放 | 四虎影在永久地址在线观看 | 日本一区二区三区高清在线观看 | 免费羞羞网站 | 亚洲欧洲一区二区三区久久 | www.九九热| 久久久久久久免费 | 狠狠色噜噜狠狠狠合久 | 亚欧成人在线 | 国产亚洲在线 | 亚洲 欧美 中文字幕 | 黄色片网站在线观看 | 久久久久国产精品免费 | 波多野结衣免费播放 | 香蕉久久夜色精品国产 | 91视频免费观看网站 | 亚洲精品一区最新 | 97精品视频在线观看 | 欧洲一级黄色 | 中文字幕日韩视频 | www午夜 | 77成人影视 | 超级毛片 | 久久这里只有精品99 | 香蕉国产 | 国产黄色91 | 特级黄色视频毛片 | 一级片aa| 国产欧美一级片 | 久久99精品国产一区二区三区 | 爆操白虎| 久久久久激情免费观看 | 亚洲精品一区二区四季 | 欧美一级在线免费观看 | 国产片91人成在线观看 |