一区二区三区四区,久久青草免费91观看,亚洲av第一页国产精品

爬蟲的抓取方式有好幾種， 正則表達式，Lxml(xpath)與BeautifulSoup, 我在網上查了一下資料，了解到三者之間的使用難度與性能

三種爬蟲方式的對比。

抓取方式	性能	使用難度
正則表達式	快	困難
Lxml	快	簡單
BeautifulSoup	慢	簡單

這樣一比較我我選擇了Lxml(xpath)的方式了，雖然有三種方式，但肯定是要選擇最好的方式來爬蟲，這個道理大家都懂，另外有興趣的朋友也可以去了解另外兩種爬蟲方式！

好了現在來講講xpath

由于Xpath屬于lxml模塊，所以首先需要安裝lxml庫，老辦法直接在file-->setting---project interpreter 一鍵添加lxml庫。

xpath簡單用法

          from lxml import etree
          

           s=etree.HTML(源碼) #將源碼轉化為能被XPath匹配的格式
          

           s.xpath(xpath表達式) #返回為一列表,

基礎語法：

// 雙斜杠定位根節點，會對全文進行掃描，在文檔中選取所有符合條件的內容，以列表的形式返回。
/ 單斜杠尋找當前標簽路徑的下一層路徑標簽或者對當前路標簽內容進行操作
/text() 獲取當前路徑下的文本內容
/@xxxx 提取當前路徑下標簽的屬性值
| 可選符使用|可選取若干個路徑如//p | //div 即在當前路徑下選取所有符合條件的p標簽和div標簽。
. 點用來選取當前節點
.. 雙點選取當前節點的父節點

學以致用，方能讓我們能快速掌握xpath語法功能。

我們這次需要爬取豆瓣音樂前250條

打開豆瓣音樂：https://music.douban.com/top250

在此推薦小編創建的Python學習交流群：835017344，這里是python學習者聚集地，有大牛答疑，有資源共享！有想學習python編程的，或是轉行，或是大學生，還有工作中想提升自己能力的，正在學習的小伙伴歡迎加入學習。

獲取單條數據

1.獲取音樂標題

打開網址，按下F12，然后查找標題，右鍵彈出菜單欄 Copy==> Copy Xpath

image

這里我們想獲取音樂標題，音樂標題的xpath是： xpath://*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

          # coding:utf-8
          

           from lxml import etree
          

           import requests
          
          
          
            url = 'https://music.douban.com/top250'
          
          
            html = requests.get(url).text #這里一般先打印一下html內容，看看是否有內容再繼續。
            

             s = etree.HTML(html)
            

             title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a')
            

             print title

運行代碼：

居然是空的。！！！

這里需要注意一下，瀏覽器復制的xpath只能作參考，因為瀏覽器經常會在自己里面增加多余的tbody標簽，我們需要手動把這個標簽刪除

刪除中間的/tbody后,是這樣的，

title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a')

然后我們再運行代碼。

得到：

說明標題被獲取到了。

因為要獲取標題文本，所以xpath表達式要追加/text()

title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()

又因為這個s.xpath返回的是一個集合，且集合中只有一個元素所以我再追加一個[0]

新的表達式：

title = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text(),再追加[0]

重新運行得到結果：

We Sing. We Dance. We Steal Things.

正是我們想要的標題。

2.獲取音樂評分與評價人數

老辦法，先用右鍵copy評分的xpath : //*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[2]
復制評價人數的xpath: //*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[3]/text()

同樣的我們要把tbody去掉，然后重新運行代碼：

          # coding:utf-8
          

           from lxml import etree
          

           import requests
          
          
          
            url = 'https://music.douban.com/top250'
          
          
            html = requests.get(url).text
            

             s = etree.HTML(html)
            

             title = s.xpath('//
            
              [@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
              

               score = s.xpath('//
            
            [@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()')[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
            

             numbers = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()')[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
            

             print title,score,numbers

得到：

           We Sing. We Dance. We Steal Things.
          

           9.1
          

           (
          

           100395人評價
          

           )

3.獲取音樂鏈接

copy標題的xpath，： //*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

想獲取音樂連接href這里需要，獲取這個標簽屬于,/@xxx可以提取當前路徑標簽下的屬性值

//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a/@href

代碼：

          # coding:utf-8
          

           from lxml import etree
          

           import requests
          
          
          
            url = 'https://music.douban.com/top250'
          
          
            html = requests.get(url).text
            

             s = etree.HTML(html)
            

             href = s.xpath('//
            
              [@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/@href')[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
              

               title = s.xpath('//
            
            [@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
            

             score = s.xpath('//
            
              [@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()')[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
              

               numbers = s.xpath('//
            
            [@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()')[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
            

             print href,title,score,numbers

運行代碼得到：

          https://music.douban.com/subject/2995812/
          

           We Sing. We Dance. We Steal Things.
          

           9.1
          

           (
          

           100395人評價
          

           )

5.獲取圖片地址：

找到圖片，復制他的xpath地址： //*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[1]/a/img

運行代碼：

          # coding:utf-8
          

           from lxml import etree
          

           import requests
          
          
          
            url = 'https://music.douban.com/top250'
          
          
            html = requests.get(url).text
            

             s = etree.HTML(html)
            

             href = s.xpath('//
            
              [@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/@href')[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
              

               title = s.xpath('//
            
            [@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
            

             score = s.xpath('//
            
              [@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[2]/text()')[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
              

               numbers = s.xpath('//
            
            [@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/div/span[3]/text()')[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
            

             imgpath = s.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[1]/a/img/@src')[0]#因為要獲取文本，所以我需要這個當前路徑下的文本，所以使用/text()
            

             print href,title,score,numbers,imgpath

老套路：

得到結果:

          https://music.douban.com/subject/2995812/
          

           We Sing. We Dance. We Steal Things.
          

           9.1
          

           (
          

           100395人評價
          

           )
          

           https://img3.doubanio.com/spic/s2967252.jpg

但是這只是獲取了一條數據，如果獲取多條數據呢？

獲取多條數據

image

我們再看第二條數據，第三條數據,第四條數據

得到他們的xpath:

          # coding:utf-8
          

           from lxml import etree
          

           import requests
          
          
          
            url = 'https://music.douban.com/top250'
          
          
            html = requests.get(url).text
            

             s = etree.HTML(html)
            

             title = s.xpath('//
            
              [@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
              

               title2 = s.xpath('//
            
            [@id="content"]/div/div[1]/div/table[2]/tr/td[2]/div/a/text()')[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
            

             title3 = s.xpath('//
            
              [@id="content"]/div/div[1]/div/table[3]/tr/td[2]/div/a/text()')[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
              

               title4 = s.xpath('//
            
            [@id="content"]/div/div[1]/div/table[4]/tr/td[2]/div/a/text()')[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
            

             print title,title2,title3,title4

得到：

           We Sing. We Dance. We Steal Things.
          

           Viva La Vida
          

           華麗的冒險
          

           范特西

對比他們的xpath，發現只有table序號不一樣，我們可以就去掉序號，得到通用的xpath信息：

運行代碼：

          # coding:utf-8
          

           from lxml import etree
          

           import requests
          
          
          
            url = 'https://music.douban.com/top250'
          
          
            html = requests.get(url).text
            

             s = etree.HTML(html)
            

             titles = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()')#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()
          
          
            for title in titles:
            

             print title.strip()

得到：

          We Sing. We Dance. We Steal Things.
          

           Viva La Vida
          

           華麗的冒險
          

           范特西
          

           後。青春期的詩
          

           是時候
          

           Lenka
          

           Start from Here
          

           旅行的意義
          

           太陽
          

           Once (Soundtrack)
          

           Not Going Anywhere
          

           American Idiot
          

           OK
          

           無與倫比的美麗
          

           親愛的...我還不知道
          

           城市
          

           O
          

           Wake Me Up When September Ends
          

           葉惠美
          

           七里香
          

           21
          

           My Life Will...
          

           寓言
          

           你在煩惱什么

其它的信息如：鏈接地址，評分，評價人數都可以用同樣的辦法來獲取，現在我同時獲取多條數據，因為每頁數據是25條，所以：

完整代碼如下：

          # coding:utf-8
          

           from lxml import etree
          

           import requests
          

           url = 'https://music.douban.com/top250'
          

           html = requests.get(url).text
          

           s = etree.HTML(html)
          

           hrefs = s.xpath('//
          
            [@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/@href')
            

             titles = s.xpath('//
          
          [@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()')
          

           scores = s.xpath('//
          
            [@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[2]/text()')
            

             numbers = s.xpath('//
          
          [@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[3]/text()')
          

           imgs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[1]/a/img/@src')
          

           for i in range(25):
          

           print hrefs[i],titles[i],scores[i],numbers[i],imgs[i]

得到：

一大批數據了，我就不展示了。有興趣可以直接copy代碼運行.,注意你得裝上lxml與requests庫.

我們也發現了問題每一個xpath路徑特別長，能不能精簡一下呢？

5. 精簡一下xpath路徑

          hrefs = s.xpath('//
          
            [@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/@href')
            

             titles = s.xpath('//
          
          [@id="content"]/div/div[1]/div/table/tr/td[2]/div/a/text()')
          

           scores = s.xpath('//
          
            [@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[2]/text()')
            

             numbers = s.xpath('//
          
          [@id="content"]/div/div[1]/div/table/tr/td[2]/div/div/span[3]/text()')
          

           imgs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[1]/a/img/@src')

觀察發現獲取幾個關鍵字段的xpath前綴都是 //*[@id="content"]/div/div[1]/div/table/tr 那我能不能把這些東西提出來呢，讓后面的不同的自己去追加，另外這樣寫也不用管每個頁面到底有多少條數據，只管查就行了。所以代碼做了一下精簡。

          url = 'https://music.douban.com/top250'
          
          
          
            html = requests.get(url).text
            

             s = etree.HTML(html)
            

             trs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr') #先提取tr之前的節點集合
          
          
            for tr in trs: #遍歷tr
            

             href = tr.xpath('./td[2]/div/a/@href')[0] #注意新節點是tr下的節點
            

             title = tr.xpath('./td[2]/div/a/text()')[0]
            

             score = tr.xpath('./td[2]/div/div/span[2]/text()')[0]
            

             number = tr.xpath('./td[2]/div/div/span[3]/text()')[0]
            

             img = tr.xpath('./td[1]/a/img/@src')[0]
            

             print href,title,score,number,img

得到的結果和之前是一樣的。

但是，但是，這只是一個頁面的數據，我現在想爬取多個頁面的數據，怎么辦呢？

獲取個多頁面數據.

觀察一下翻頁路徑：

https://music.douban.com/top250?start=0

https://music.douban.com/top250?start=25

https://music.douban.com/top250?start=50

有沒有發現頁面只是后面start參數發生了改變，且增長為每次25，并且250條數據正好是10頁。

所以我可以遍歷這個頁面。

代碼：

          for i in range(10):
          

           url = 'https://music.douban.com/top250?start={}'.format(i*25)
          

           print url

得到：

          https://music.douban.com/top250?start=0
          

           https://music.douban.com/top250?start=25
          

           https://music.douban.com/top250?start=50
          

           https://music.douban.com/top250?start=75
          

           https://music.douban.com/top250?start=100
          

           https://music.douban.com/top250?start=125
          

           https://music.douban.com/top250?start=150
          

           https://music.douban.com/top250?start=175
          

           https://music.douban.com/top250?start=200
          

           https://music.douban.com/top250?start=225

正是自己要的結果。

好了最后我們把代碼拼裝在一起，并注意每個方法的用途。

完整代碼

          # coding:utf-8
          

           from lxml import etree
          

           import requests
          
          
          
            獲取頁面地址
          
          
            def getUrl():
            

             for i in range(10):
            

             url = 'https://music.douban.com/top250?start={}'.format(i*25)
            

             scrapyPage(url)
          
          
            爬取每頁數據
          
          
            def scrapyPage(url):
            

             html = requests.get(url).text
            

             s = etree.HTML(html)
            

             trs = s.xpath('//*[@id="content"]/div/div[1]/div/table/tr')
          
                      
              for tr in trs:
    href = tr.xpath('./td[2]/div/a/@href')[0]
    title = tr.xpath('./td[2]/div/a/text()')[0]
    score = tr.xpath('./td[2]/div/div/span[2]/text()')[0]
    number = tr.xpath('./td[2]/div/div/span[3]/text()')[0]
    img = tr.xpath('./td[1]/a/img/@src')[0]
    print href, title, score, number, img

            
          
          
            if '
            
              main
            
            ':
            

             getUrl()

更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索：z360901061

微信掃一掃加我為好友

QQ號聯系： 360901061

您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。

【本文對您有幫助就好】元

2元

5元

10元

20元

自定義

亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python爬蟲：現學現用xpath爬取豆瓣音樂

學以致用，方能讓我們能快速掌握xpath語法功能。

獲取單條數據

獲取多條數據

我們也發現了問題每一個xpath路徑特別長，能不能精簡一下呢？

獲取個多頁面數據.

完整代碼

獲取頁面地址

爬取每頁數據