亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)

系統(tǒng) 1520 0

抓取動(dòng)態(tài)的網(wǎng)頁(yè)內(nèi)容主要有兩種辦法,一種是通過(guò)開(kāi)發(fā)者工具找到動(dòng)態(tài)內(nèi)容的接口,然后分析接口的參數(shù)和返回值來(lái)爬取網(wǎng)站的數(shù)據(jù)。另外一種是通過(guò)模擬瀏覽器來(lái)抓取數(shù)據(jù)。python的Selenium庫(kù)就可以通過(guò)代碼來(lái)模擬瀏覽器抓取數(shù)據(jù)。

一、概述

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第1張圖片

運(yùn)行Selenium需要依賴(lài)于Python的selenium庫(kù),以及瀏覽器對(duì)應(yīng)驅(qū)動(dòng)器(WebDriver)。

安裝selenium庫(kù)

pip install selenium
項(xiàng)目地址: https://pypi.org/project/selenium/

下載WebDriver

WebDriver可以簡(jiǎn)單的理解為瀏覽器插件,是可執(zhí)行的程序。不同的瀏覽器對(duì)應(yīng)的WebDriver是不同的,比如火狐瀏覽器的WebDriver是geckodriver,Windows環(huán)境下是geckodriver.exe文件;Chrome瀏覽器的WebDriver是Chromedriver,Windows環(huán)境下是chromedriver.exe文件。

Webdriver下載之后解壓縮,將exe文件復(fù)制到python目錄下(只要目錄在path環(huán)境變量中就可以)

火狐的webdriver下載
https://github.com/mozilla/geckodriver/?

google chrome 的webdriver下載(按瀏覽器版本下載對(duì)應(yīng)的webdriver,如果Chrome的版本與chromedriver.exe的版本不匹配,那么selenium的python程序會(huì)運(yùn)行失敗的)
http://chromedriver.storage.googleapis.com/index.html

二、例子

例子1:
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('http://www.baidu.com')
assert '百度一下' in browser.title

#elem = browser.find_element_by_name("wd")
elem = browser.find_element_by_xpath('//*[@id="kw"]')
elem.send_keys("selenium")

btn = browser.find_element_by_id("su")
btn.click()

#browser.quit()

?

例子2:
import ?unittest
from selenium import webdriver


class BaiduTest(unittest.TestCase):

? ? def setUp(self):
? ? ? ? self.browser = webdriver.Firefox()
? ? ? ? self.browser.get("http://www.baidu.com")
? ? ? ? #self.addCleanup(self.browser.quit)

? ? def testTitle(self):
? ? ? ? self.assertIn("百度一下", self.browser.title)

? ? def testSearch(self):
? ? ? ? #self.browser.get("http://www.baidu.com")
? ? ? ? searchInput = self.browser.find_element_by_id("kw")
? ? ? ? searchInput.send_keys("selenium")

? ? ? ? searchBtn = self.browser.find_element_by_id("su")
? ? ? ? searchBtn.click()

? ? ? ? self.assertIn("selenium", self.browser.current_url)


if __name__ == '__main__':
? ? unittest.main(verbosity=2)

其他資源:
https://www.seleniumhq.org/download/
http://ftp.mozilla.org/pub/firefox/releases/ 火狐版本
https://www.cnblogs.com/givemelove/p/8482361.html 火狐、谷歌軟件及webdriver

本文內(nèi)容到此結(jié)束,更多內(nèi)容可關(guān)注公眾號(hào)和個(gè)人微信號(hào):

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第2張圖片 python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第3張圖片


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 亚洲一本通 | 七色永久性tv网站免费看 | 亚洲欧美午夜 | 免费网站成人亚洲 | 国产二级毛片 | 亚洲激情综合 | 日本性网址 | 九九视频免费精品视频免费 | 香蕉爱视频| 国产精品你懂的 | 久久国产精品一国产精品 | 国产成人精品在线 | 麻豆久久婷婷国产综合五月 | 91久久国产 | 欧洲美女a视频一级毛片 | 亚洲成a人v大片在线观看 | 久久高清精品 | 久久精品国产99久久72 | 天天综合天天看夜夜添狠狠玩 | 最近中文字幕精彩视频 | 免费日韩毛片 | 中国大乳久久 | 国产一区二区三区在线 | 精品一区二区三区亚洲 | 色狠狠色综合吹潮 | 国产理论视频在线观看 | 色综久久天天综合绕视看 | 日本在线一卡二卡毛片 | 一 级 黄 色 片生活片 | 国产亚洲欧美在线 | 一级黄色α片 | 一级毛片在线播放免费 | 天天翘夜夜洗澡天天做 | 色视频在线观看视频 | 高清欧美日本视频免费观看 | 久草在线免费看视频 | 亚洲国产成人成上人色 | 日韩欧美一卡二区 | 成人性生交大片免费看午夜a | 亚洲全黄| 国内夫妇精品对白在线播放 |