亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)

系統(tǒng) 1520 0

抓取動(dòng)態(tài)的網(wǎng)頁(yè)內(nèi)容主要有兩種辦法,一種是通過(guò)開(kāi)發(fā)者工具找到動(dòng)態(tài)內(nèi)容的接口,然后分析接口的參數(shù)和返回值來(lái)爬取網(wǎng)站的數(shù)據(jù)。另外一種是通過(guò)模擬瀏覽器來(lái)抓取數(shù)據(jù)。python的Selenium庫(kù)就可以通過(guò)代碼來(lái)模擬瀏覽器抓取數(shù)據(jù)。

一、概述

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第1張圖片

運(yùn)行Selenium需要依賴(lài)于Python的selenium庫(kù),以及瀏覽器對(duì)應(yīng)驅(qū)動(dòng)器(WebDriver)。

安裝selenium庫(kù)

pip install selenium
項(xiàng)目地址: https://pypi.org/project/selenium/

下載WebDriver

WebDriver可以簡(jiǎn)單的理解為瀏覽器插件,是可執(zhí)行的程序。不同的瀏覽器對(duì)應(yīng)的WebDriver是不同的,比如火狐瀏覽器的WebDriver是geckodriver,Windows環(huán)境下是geckodriver.exe文件;Chrome瀏覽器的WebDriver是Chromedriver,Windows環(huán)境下是chromedriver.exe文件。

Webdriver下載之后解壓縮,將exe文件復(fù)制到python目錄下(只要目錄在path環(huán)境變量中就可以)

火狐的webdriver下載
https://github.com/mozilla/geckodriver/?

google chrome 的webdriver下載(按瀏覽器版本下載對(duì)應(yīng)的webdriver,如果Chrome的版本與chromedriver.exe的版本不匹配,那么selenium的python程序會(huì)運(yùn)行失敗的)
http://chromedriver.storage.googleapis.com/index.html

二、例子

例子1:
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('http://www.baidu.com')
assert '百度一下' in browser.title

#elem = browser.find_element_by_name("wd")
elem = browser.find_element_by_xpath('//*[@id="kw"]')
elem.send_keys("selenium")

btn = browser.find_element_by_id("su")
btn.click()

#browser.quit()

?

例子2:
import ?unittest
from selenium import webdriver


class BaiduTest(unittest.TestCase):

? ? def setUp(self):
? ? ? ? self.browser = webdriver.Firefox()
? ? ? ? self.browser.get("http://www.baidu.com")
? ? ? ? #self.addCleanup(self.browser.quit)

? ? def testTitle(self):
? ? ? ? self.assertIn("百度一下", self.browser.title)

? ? def testSearch(self):
? ? ? ? #self.browser.get("http://www.baidu.com")
? ? ? ? searchInput = self.browser.find_element_by_id("kw")
? ? ? ? searchInput.send_keys("selenium")

? ? ? ? searchBtn = self.browser.find_element_by_id("su")
? ? ? ? searchBtn.click()

? ? ? ? self.assertIn("selenium", self.browser.current_url)


if __name__ == '__main__':
? ? unittest.main(verbosity=2)

其他資源:
https://www.seleniumhq.org/download/
http://ftp.mozilla.org/pub/firefox/releases/ 火狐版本
https://www.cnblogs.com/givemelove/p/8482361.html 火狐、谷歌軟件及webdriver

本文內(nèi)容到此結(jié)束,更多內(nèi)容可關(guān)注公眾號(hào)和個(gè)人微信號(hào):

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第2張圖片 python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第3張圖片


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 日本在线看片网站 | 国产婷婷色 | 这里只有精品99re在线 | 97在线免费观看 | 国产精品乱码免费一区二区 | 久久黄色精品视频 | 天天操夜夜操视频 | 久草在在线视频免费 | 免费鲁丝片一级观看 | 成人久久18免费网 | 92精品国产成人观看免费 | 性影院 | 国产精品免费福利 | 天海翼一区二区三区高清视频 | 色香欲综合网 | 欧美操人视频 | 99热8| 九九99久久精品午夜剧场免费 | 免费看国产片 | 伊人久久久久久久久香港 | 亚洲综合色视频在线观看 | 久久机热这里只有精品无需 | 国产美女拍拍拍在线观看 | 亚欧在线精品免费观看一区 | 国产欧美一区二区三区在线看 | 久久久久久岛国免费网站 | 在线第一福利视频观看 | 亚洲成a人片在线观看www | 日本在线视频精品 | 伊人精品视频一区二区三区 | 五月婷婷激情六月 | 日韩a毛片 | 97国产 | 麻豆精品一区 | 九九福利视频 | 欧美大片天天免费看视频 | 免费在线一级片 | 国产精品a在线观看香蕉 | 久久这里只有精品66re99 | 色久悠悠在线观看 | 久久99热精品免费观看欧美 |