亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python爬蟲包 BeautifulSoup 遞歸抓取實例詳解

系統 1551 0

Python爬蟲包 BeautifulSoup? 遞歸抓取實例詳解

概要:

爬蟲的主要目的就是為了沿著網絡抓取需要的內容。它們的本質是一種遞歸的過程。它們首先需要獲得網頁的內容,然后分析頁面內容并找到另一個URL,然后獲得這個URL的頁面內容,不斷重復這一個過程。

讓我們以維基百科為一個例子。

我們想要將維基百科中凱文?貝肯詞條里所有指向別的詞條的鏈接提取出來。

            
# -*- coding: utf-8 -*-
# @Author: HaonanWu
# @Date:  2016-12-25 10:35:00
# @Last Modified by:  HaonanWu
# @Last Modified time: 2016-12-25 10:52:26
from urllib2 import urlopen
from bs4 import BeautifulSoup

html = urlopen('http://en.wikipedia.org/wiki/Kevin_Bacon')
bsObj = BeautifulSoup(html, "html.parser")

for link in bsObj.findAll("a"):
  if 'href' in link.attrs:
    print link.attrs['href']


          

上面這個代碼能夠將頁面上的所有超鏈接都提取出來。

            
/wiki/Wikipedia:Protection_policy#semi
#mw-head
#p-search
/wiki/Kevin_Bacon_(disambiguation)
/wiki/File:Kevin_Bacon_SDCC_2014.jpg
/wiki/San_Diego_Comic-Con
/wiki/Philadelphia
/wiki/Pennsylvania
/wiki/Kyra_Sedgwick

          

首先,提取出來的URL可能會有一些重復的

其次,有一些URL是我們不需要的,如側邊欄、頁眉、頁腳、目錄欄鏈接等等。

所以通過觀察,我們可以發現所有指向詞條頁面的鏈接都有三個特點:

  • 它們都在id是bodyContent的div標簽里
  • URL鏈接不包含冒號
  • URL鏈接都是以/wiki/開頭的相對路徑(也會爬到完整的有http開頭的絕對路徑)
            
from urllib2 import urlopen
from bs4 import BeautifulSoup
import datetime
import random
import re

pages = set()
random.seed(datetime.datetime.now())
def getLinks(articleUrl):
  html = urlopen("http://en.wikipedia.org"+articleUrl)
  bsObj = BeautifulSoup(html, "html.parser")
  return bsObj.find("div", {"id":"bodyContent"}).findAll("a", href=re.compile("^(/wiki/)((?!:).)*$"))

links = getLinks("/wiki/Kevin_Bacon")
while len(links) > 0:
  newArticle = links[random.randint(0, len(links)-1)].attrs["href"]
  if newArticle not in pages:
    print(newArticle)
    pages.add(newArticle)
    links = getLinks(newArticle)


          

其中getLinks的參數是/wiki/<詞條名稱>,并通過和維基百科的絕對路徑合并得到頁面的URL。通過正則表達式捕獲所有指向其他詞條的URL,并返回給主函數。

主函數則通過調用遞歸getlinks并隨機訪問一條沒有訪問過的URL,直到沒有了詞條或者主動停止為止。

這份代碼可以將整個維基百科都抓取下來

            
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

pages = set()
def getLinks(pageUrl):
  global pages
  html = urlopen("http://en.wikipedia.org"+pageUrl)
  bsObj = BeautifulSoup(html, "html.parser")
  try:
    print(bsObj.h1.get_text())
    print(bsObj.find(id ="mw-content-text").findAll("p")[0])
    print(bsObj.find(id="ca-edit").find("span").find("a").attrs['href'])
  except AttributeError:
    print("This page is missing something! No worries though!")

  for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
    if 'href' in link.attrs:
      if link.attrs['href'] not in pages:
        #We have encountered a new page
        newPage = link.attrs['href']
        print("----------------\n"+newPage)
        pages.add(newPage)
        getLinks(newPage)
getLinks("") 


          

一般來說Python的遞歸限制是1000次,所以需要人為地設置一個較大的遞歸計數器,或者用其他手段讓代碼在迭代1000次之后還能運行。

感謝閱讀,希望能幫助到大家,謝謝大家對本站的支持!


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 四虎亚洲精品 | 久久国产成人精品国产成人亚洲 | 久久久久久久91精品免费观看 | 美女操穴视频 | 亚洲精品丝袜在线一区波多野结衣 | 日本免费一区二区三区看片 | 国产精品一国产精品 | 日韩精品视频美在线精品视频 | 特黄级 | 日本高清免费不卡在线播放 | 亚洲国产婷婷综合在线精品 | 女女同免费播放毛片 | 日韩视频免费在线播放 | 久久香蕉国产线看免费 | 动漫美女h片黄动漫在线观看 | 国产午夜影院 | 日本精品99 | 亚洲精品久荜中文字幕 | 狠狠操天天操视频 | 欧美乱爱 | www.亚洲天堂| 久久综合九色综合97伊人麻豆 | 视色视频 | 国产精品亚洲欧美日韩一区在线 | 欧美特黄一级aa毛片 | 亚洲一区二区三区免费在线观看 | 免费又爽又黄禁片视频在线播放 | 九九视频免费 | 四虎1515hhwocw | 曰本女人一级毛片看一级毛 | 国内一级特黄女人精品片 | 国产毛片一级国语版 | 在线观看香蕉免费啪在线观看 | 99久久免费精品 | 中文字幕国产 | 欧美成人高清视频 | 免费一级毛片在线视频观看 | 欧美日本一级在线播放 | 国产精品欧美亚洲区 | 日韩你懂的 | 夜色91|