抓取動(dòng)態(tài)的網(wǎng)頁(yè)內(nèi)容主要有兩種辦法,一種是通過(guò)開(kāi)發(fā)者工具找到動(dòng)態(tài)內(nèi)容的接口,然后分析接口的參數(shù)和返回值來(lái)爬取網(wǎng)站的數(shù)據(jù)。另外一種是通過(guò)模擬瀏覽器來(lái)抓取數(shù)據(jù)。python的Selenium庫(kù)就可以通過(guò)代碼來(lái)模擬瀏覽器抓取數(shù)據(jù)。
一、概述
運(yùn)行Selenium需要依賴(lài)于Python的selenium庫(kù),以及瀏覽器對(duì)應(yīng)驅(qū)動(dòng)器(WebDriver)。
安裝selenium庫(kù)
pip install selenium
項(xiàng)目地址: https://pypi.org/project/selenium/
下載WebDriver
WebDriver可以簡(jiǎn)單的理解為瀏覽器插件,是可執(zhí)行的程序。不同的瀏覽器對(duì)應(yīng)的WebDriver是不同的,比如火狐瀏覽器的WebDriver是geckodriver,Windows環(huán)境下是geckodriver.exe文件;Chrome瀏覽器的WebDriver是Chromedriver,Windows環(huán)境下是chromedriver.exe文件。
Webdriver下載之后解壓縮,將exe文件復(fù)制到python目錄下(只要目錄在path環(huán)境變量中就可以)
火狐的webdriver下載
https://github.com/mozilla/geckodriver/?
google chrome 的webdriver下載(按瀏覽器版本下載對(duì)應(yīng)的webdriver,如果Chrome的版本與chromedriver.exe的版本不匹配,那么selenium的python程序會(huì)運(yùn)行失敗的)
http://chromedriver.storage.googleapis.com/index.html
二、例子
例子1:
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://www.baidu.com')
assert '百度一下' in browser.title
#elem = browser.find_element_by_name("wd")
elem = browser.find_element_by_xpath('//*[@id="kw"]')
elem.send_keys("selenium")
btn = browser.find_element_by_id("su")
btn.click()
#browser.quit()
?
例子2:
import ?unittest
from selenium import webdriver
class BaiduTest(unittest.TestCase):
? ? def setUp(self):
? ? ? ? self.browser = webdriver.Firefox()
? ? ? ? self.browser.get("http://www.baidu.com")
? ? ? ? #self.addCleanup(self.browser.quit)
? ? def testTitle(self):
? ? ? ? self.assertIn("百度一下", self.browser.title)
? ? def testSearch(self):
? ? ? ? #self.browser.get("http://www.baidu.com")
? ? ? ? searchInput = self.browser.find_element_by_id("kw")
? ? ? ? searchInput.send_keys("selenium")
? ? ? ? searchBtn = self.browser.find_element_by_id("su")
? ? ? ? searchBtn.click()
? ? ? ? self.assertIn("selenium", self.browser.current_url)
if __name__ == '__main__':
? ? unittest.main(verbosity=2)
其他資源:
https://www.seleniumhq.org/download/
http://ftp.mozilla.org/pub/firefox/releases/ 火狐版本
https://www.cnblogs.com/givemelove/p/8482361.html 火狐、谷歌軟件及webdriver
本文內(nèi)容到此結(jié)束,更多內(nèi)容可關(guān)注公眾號(hào)和個(gè)人微信號(hào):
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
