亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)

系統(tǒng) 1520 0

抓取動(dòng)態(tài)的網(wǎng)頁(yè)內(nèi)容主要有兩種辦法,一種是通過(guò)開(kāi)發(fā)者工具找到動(dòng)態(tài)內(nèi)容的接口,然后分析接口的參數(shù)和返回值來(lái)爬取網(wǎng)站的數(shù)據(jù)。另外一種是通過(guò)模擬瀏覽器來(lái)抓取數(shù)據(jù)。python的Selenium庫(kù)就可以通過(guò)代碼來(lái)模擬瀏覽器抓取數(shù)據(jù)。

一、概述

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第1張圖片

運(yùn)行Selenium需要依賴(lài)于Python的selenium庫(kù),以及瀏覽器對(duì)應(yīng)驅(qū)動(dòng)器(WebDriver)。

安裝selenium庫(kù)

pip install selenium
項(xiàng)目地址: https://pypi.org/project/selenium/

下載WebDriver

WebDriver可以簡(jiǎn)單的理解為瀏覽器插件,是可執(zhí)行的程序。不同的瀏覽器對(duì)應(yīng)的WebDriver是不同的,比如火狐瀏覽器的WebDriver是geckodriver,Windows環(huán)境下是geckodriver.exe文件;Chrome瀏覽器的WebDriver是Chromedriver,Windows環(huán)境下是chromedriver.exe文件。

Webdriver下載之后解壓縮,將exe文件復(fù)制到python目錄下(只要目錄在path環(huán)境變量中就可以)

火狐的webdriver下載
https://github.com/mozilla/geckodriver/?

google chrome 的webdriver下載(按瀏覽器版本下載對(duì)應(yīng)的webdriver,如果Chrome的版本與chromedriver.exe的版本不匹配,那么selenium的python程序會(huì)運(yùn)行失敗的)
http://chromedriver.storage.googleapis.com/index.html

二、例子

例子1:
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('http://www.baidu.com')
assert '百度一下' in browser.title

#elem = browser.find_element_by_name("wd")
elem = browser.find_element_by_xpath('//*[@id="kw"]')
elem.send_keys("selenium")

btn = browser.find_element_by_id("su")
btn.click()

#browser.quit()

?

例子2:
import ?unittest
from selenium import webdriver


class BaiduTest(unittest.TestCase):

? ? def setUp(self):
? ? ? ? self.browser = webdriver.Firefox()
? ? ? ? self.browser.get("http://www.baidu.com")
? ? ? ? #self.addCleanup(self.browser.quit)

? ? def testTitle(self):
? ? ? ? self.assertIn("百度一下", self.browser.title)

? ? def testSearch(self):
? ? ? ? #self.browser.get("http://www.baidu.com")
? ? ? ? searchInput = self.browser.find_element_by_id("kw")
? ? ? ? searchInput.send_keys("selenium")

? ? ? ? searchBtn = self.browser.find_element_by_id("su")
? ? ? ? searchBtn.click()

? ? ? ? self.assertIn("selenium", self.browser.current_url)


if __name__ == '__main__':
? ? unittest.main(verbosity=2)

其他資源:
https://www.seleniumhq.org/download/
http://ftp.mozilla.org/pub/firefox/releases/ 火狐版本
https://www.cnblogs.com/givemelove/p/8482361.html 火狐、谷歌軟件及webdriver

本文內(nèi)容到此結(jié)束,更多內(nèi)容可關(guān)注公眾號(hào)和個(gè)人微信號(hào):

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第2張圖片 python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第3張圖片


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 曰曰鲁夜夜免费播放视频 | 日韩一区二区不卡 | 亚洲一区二区三区精品影院 | 伊人五月 | 老司机免费福利视频无毒午夜 | 久久亚洲国产成人影院 | 成人在线观看国产 | 91网红福利精品区一区二 | 亚洲精品久久久中文字 | 国产大尺度福利视频在线 | 久草日韩 | 久久精品成人免费网站 | 91亚洲国产成人精品性色 | 天天插日日射 | 一道本不卡免费视频 | 99热这里精品 | 九九99久久精品国产 | 欧美日韩精品一区二区在线线 | 免费一级毛片在线播放不收费 | 国产美女亚洲精品久久久久久 | 99久久精品视香蕉蕉er热资源 | 久久一区二区精品 | 奇米七七七| 中文字幕一区久久久久 | 九九热在线视频播放 | 男女很黄很色床视频网站免 | 亚洲欧美自拍一区 | 色老头老太做爰视频在线观看 | 精品一区二区三区免费爱 | 国产h视频免费观看 | 毛片福利| 香蕉久久综合 | 伊人久久色 | 天天做天天爰夜夜爽 | 亚洲日韩在线视频 | 中文字幕久精品免费视频蜜桃视频 | 国产69精品久久久久999三级 | 爱爱视频在线免费观看 | 国产精品亚洲二线在线播放 | 九一国产| 日韩中文字幕精品免费一区 |