亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

使用Python的自動化工具Selenium爬取京東商品評論

系統 1952 0

課程作業要求,遂學習了python的自動化selenium工具,并爬取京東商品評論數據練練手。

目錄:

一、環境

二、第三方庫

三、分析

1.1 chrome驅動

1.2?定位評論元素

1.3?循環爬取評論數據并保存為CVS文件導出

其中xpath對應網頁元素

? ? ? ? ?評論:

? ? ? ? ?用戶名:

四、代碼

五、結果


?


一、環境

我使用的是windows+python3.6+pycharm,大家自己去下載對應的環境。

二、第三方庫

              
                from selenium import webdriver
from time import sleep
import csv
              
            

三、分析

1.1 chrome驅動

              
                browser = webdriver.Chrome()#需要使用chrome的調用驅動chormedrive導入script目錄
              
            

調用瀏覽器需要下載對應的chrome驅動到項目工程目錄

我的目錄是 C:\Users\Administrator\PycharmProjects\python\venv\Scripts

需要注意的是chrome瀏覽器的版本號需要與對應驅動版本號對應,不然會報錯。

使用Python的自動化工具Selenium爬取京東商品評論_第1張圖片

使用Python的自動化工具Selenium爬取京東商品評論_第2張圖片


1.2?定位評論元素

然后就是通過xpath定位網頁評論元素

              
                try:
    browser.get('https://item.jd.com/100002795959.html#none')   #控制瀏覽器跳轉到這個網頁
    button = browser.find_element_by_xpath("http://li[@clstag='shangpin|keycount|product|shangpinpingjia_1']")   #獲取商品評論按鈕
    button.click()  #控制按鈕進行點擊
    sleep(10)   #等待網頁加載,防止網頁加載過慢
              
            

使用Python的自動化工具Selenium爬取京東商品評論_第3張圖片


1.3?循環爬取評論數據并保存為CVS文件導出

              
                 with open('comment_con.csv', 'w') as csvfile:   #新建并打開comment_con.csv文件
        writer = csv.writer(csvfile)
        writer.writerow(['user_name', 'comment'])   #寫第一行
        for n in range(99): #進行99次循環
            m = n+1
            print(m)
            user = browser.find_elements_by_xpath("http://div[@class='user-info']")  #獲取用戶名
            lis = browser.find_elements_by_xpath("http://p[@class='comment-con']")   #獲取評論
            for i in range(len(user)):
                writer.writerow([user[i].text, lis[i].text])
            button2 = browser.find_element_by_class_name("ui-pager-next")   #獲取下一頁按鈕
            print(button2.text)
            sleep(1)
            print("第%d頁" %m)
            button2.click()
            sleep(5)
finally:
    browser.close()
              
            

其中xpath對應網頁元素

評論:

使用Python的自動化工具Selenium爬取京東商品評論_第4張圖片

用戶名:

使用Python的自動化工具Selenium爬取京東商品評論_第5張圖片

?

四、代碼

              
                from selenium import webdriver
from time import sleep
import csv

browser = webdriver.Chrome()#需要使用chrome的調用驅動chormedrive導入script目錄
try:
    browser.get('https://item.jd.com/100002795959.html#none')   #控制瀏覽器跳轉到這個網頁
    button = browser.find_element_by_xpath("http://li[@clstag='shangpin|keycount|product|shangpinpingjia_1']")   #獲取商品評論按鈕
    button.click()  #控制按鈕進行點擊
    sleep(10)   #等待網頁加載,防止網頁加載過慢

    with open('comment_con.csv', 'w') as csvfile:   #新建并打開comment_con.csv文件
        writer = csv.writer(csvfile)
        writer.writerow(['user_name', 'comment'])   #寫第一行
        for n in range(99): #進行99次循環
            m = n+1
            print(m)
            user = browser.find_elements_by_xpath("http://div[@class='user-info']")  #獲取用戶名
            lis = browser.find_elements_by_xpath("http://p[@class='comment-con']")   #獲取評論
            for i in range(len(user)):
                writer.writerow([user[i].text, lis[i].text])
            button2 = browser.find_element_by_class_name("ui-pager-next")   #獲取下一頁按鈕
            print(button2.text)
            sleep(1)
            print("第%d頁" %m)
            button2.click()
            sleep(5)
finally:
    browser.close()
              
            
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

五、結果

使用Python的自動化工具Selenium爬取京東商品評論_第6張圖片 wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== ?


博客記錄學習,傳遞知識,共同進步,希望對你有幫助。QAQ


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。?!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 午夜视频免费国产在线 | 欧美激情欧美狂野欧美精品免费 | 操操色 | 亚洲国产精品一区二区三区 | 日本天天谢天天要天天爱 | 亚洲a免费 | 国产99视频在线 | 97久久人人 | 福利视频免费看 | 亚洲国产精品综合久久 | 99爱在线观看精品视频 | 国产福利一区二区精品视频 | 欧美最猛的24k毛片视频 | 国产色综合网 | 午夜一区 | 91成人国产网站在线观看 | www.狠狠操.com| 久久综合资源 | 日日夜夜天天操 | 日韩欧美国产偷亚洲清高 | 国产剧情一区二区 | 伊香蕉大综综综合久久 | 天天色色色 | 国产日韩在线看 | 四虎国产一区 | 99re9精品视频在线 | 亚洲国产天堂在线mv网站 | 桃色视频在线观看 | 亚洲精品亚洲人成毛片不卡 | 在线色网站 | 天天干天天爽天天射 | 一本色道久久综合亚洲精品高清 | 极品粉嫩粉嫩福利视频在线 | 日本一级特黄aa大片24免费 | 天天艹日日干 | 久草最新网址 | 老司机精品久久 | 色综合合久久天天综合绕视看 | 国产成a人亚洲精v品久久网 | 久久久91精品国产一区二区三区 | 成人特黄午夜性a一级毛片 成人特级毛片69免费观看 |