亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)

系統(tǒng) 1520 0

抓取動(dòng)態(tài)的網(wǎng)頁(yè)內(nèi)容主要有兩種辦法,一種是通過(guò)開(kāi)發(fā)者工具找到動(dòng)態(tài)內(nèi)容的接口,然后分析接口的參數(shù)和返回值來(lái)爬取網(wǎng)站的數(shù)據(jù)。另外一種是通過(guò)模擬瀏覽器來(lái)抓取數(shù)據(jù)。python的Selenium庫(kù)就可以通過(guò)代碼來(lái)模擬瀏覽器抓取數(shù)據(jù)。

一、概述

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第1張圖片

運(yùn)行Selenium需要依賴(lài)于Python的selenium庫(kù),以及瀏覽器對(duì)應(yīng)驅(qū)動(dòng)器(WebDriver)。

安裝selenium庫(kù)

pip install selenium
項(xiàng)目地址: https://pypi.org/project/selenium/

下載WebDriver

WebDriver可以簡(jiǎn)單的理解為瀏覽器插件,是可執(zhí)行的程序。不同的瀏覽器對(duì)應(yīng)的WebDriver是不同的,比如火狐瀏覽器的WebDriver是geckodriver,Windows環(huán)境下是geckodriver.exe文件;Chrome瀏覽器的WebDriver是Chromedriver,Windows環(huán)境下是chromedriver.exe文件。

Webdriver下載之后解壓縮,將exe文件復(fù)制到python目錄下(只要目錄在path環(huán)境變量中就可以)

火狐的webdriver下載
https://github.com/mozilla/geckodriver/?

google chrome 的webdriver下載(按瀏覽器版本下載對(duì)應(yīng)的webdriver,如果Chrome的版本與chromedriver.exe的版本不匹配,那么selenium的python程序會(huì)運(yùn)行失敗的)
http://chromedriver.storage.googleapis.com/index.html

二、例子

例子1:
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('http://www.baidu.com')
assert '百度一下' in browser.title

#elem = browser.find_element_by_name("wd")
elem = browser.find_element_by_xpath('//*[@id="kw"]')
elem.send_keys("selenium")

btn = browser.find_element_by_id("su")
btn.click()

#browser.quit()

?

例子2:
import ?unittest
from selenium import webdriver


class BaiduTest(unittest.TestCase):

? ? def setUp(self):
? ? ? ? self.browser = webdriver.Firefox()
? ? ? ? self.browser.get("http://www.baidu.com")
? ? ? ? #self.addCleanup(self.browser.quit)

? ? def testTitle(self):
? ? ? ? self.assertIn("百度一下", self.browser.title)

? ? def testSearch(self):
? ? ? ? #self.browser.get("http://www.baidu.com")
? ? ? ? searchInput = self.browser.find_element_by_id("kw")
? ? ? ? searchInput.send_keys("selenium")

? ? ? ? searchBtn = self.browser.find_element_by_id("su")
? ? ? ? searchBtn.click()

? ? ? ? self.assertIn("selenium", self.browser.current_url)


if __name__ == '__main__':
? ? unittest.main(verbosity=2)

其他資源:
https://www.seleniumhq.org/download/
http://ftp.mozilla.org/pub/firefox/releases/ 火狐版本
https://www.cnblogs.com/givemelove/p/8482361.html 火狐、谷歌軟件及webdriver

本文內(nèi)容到此結(jié)束,更多內(nèi)容可關(guān)注公眾號(hào)和個(gè)人微信號(hào):

python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第2張圖片 python網(wǎng)絡(luò)爬蟲(chóng)學(xué)習(xí)筆記之三 Selenium入門(mén)_第3張圖片


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 精品一区二区三区 不卡高清 | 亚洲综合在线成人一区 | 精品成人免费播放国产片 | 久久精品99 | 久久不卡一区 | 国产高清精品一级毛片 | 久久99精品久久久久久久不卡 | 毛片欧美 | 97视频免费上传播放 | 99热久久国产精品这里有99 | 国产精品免费网站 | 亚洲欧美日韩精品中文乱码 | 日韩麻豆国产精品欧美 | 青青国产成人精品视频 | 97久久久久国产精品嫩草影院 | 天天做天天看夜夜爽毛片 | 日韩欧美综合在线 | 欧美激情在线精品一区二区 | 亚洲欧美专区精品久久 | 欧美日韩国产58香蕉在线视频 | 日韩男人天堂 | 欧美在线激情 | 亚洲综合激情九月婷婷 | 99精品久久久久中文字幕 | 99热精品6 | 亚洲人人爱 | 香蕉视频在线观看网站 | 美女视频免费在线观看 | 五月婷婷开心中文字幕 | 欧美日韩一区二区三 | 夜夜草天天干 | 99久久免费国产精品m9 | 日本视频三区 | 成人免费视频视频在线观看 免费 | 香蕉视频精品 | 一本色道久久88加勒比—综合 | 精品欧美一区二区在线观看 | 富二代啪啪精品网站 | 国产青色 | 草久在线观看 | 午夜欧美在线 |