亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

使用Python的自動化工具Selenium爬取京東商品評論

系統 1952 0

課程作業要求,遂學習了python的自動化selenium工具,并爬取京東商品評論數據練練手。

目錄:

一、環境

二、第三方庫

三、分析

1.1 chrome驅動

1.2?定位評論元素

1.3?循環爬取評論數據并保存為CVS文件導出

其中xpath對應網頁元素

? ? ? ? ?評論:

? ? ? ? ?用戶名:

四、代碼

五、結果


?


一、環境

我使用的是windows+python3.6+pycharm,大家自己去下載對應的環境。

二、第三方庫

              
                from selenium import webdriver
from time import sleep
import csv
              
            

三、分析

1.1 chrome驅動

              
                browser = webdriver.Chrome()#需要使用chrome的調用驅動chormedrive導入script目錄
              
            

調用瀏覽器需要下載對應的chrome驅動到項目工程目錄

我的目錄是 C:\Users\Administrator\PycharmProjects\python\venv\Scripts

需要注意的是chrome瀏覽器的版本號需要與對應驅動版本號對應,不然會報錯。

使用Python的自動化工具Selenium爬取京東商品評論_第1張圖片

使用Python的自動化工具Selenium爬取京東商品評論_第2張圖片


1.2?定位評論元素

然后就是通過xpath定位網頁評論元素

              
                try:
    browser.get('https://item.jd.com/100002795959.html#none')   #控制瀏覽器跳轉到這個網頁
    button = browser.find_element_by_xpath("http://li[@clstag='shangpin|keycount|product|shangpinpingjia_1']")   #獲取商品評論按鈕
    button.click()  #控制按鈕進行點擊
    sleep(10)   #等待網頁加載,防止網頁加載過慢
              
            

使用Python的自動化工具Selenium爬取京東商品評論_第3張圖片


1.3?循環爬取評論數據并保存為CVS文件導出

              
                 with open('comment_con.csv', 'w') as csvfile:   #新建并打開comment_con.csv文件
        writer = csv.writer(csvfile)
        writer.writerow(['user_name', 'comment'])   #寫第一行
        for n in range(99): #進行99次循環
            m = n+1
            print(m)
            user = browser.find_elements_by_xpath("http://div[@class='user-info']")  #獲取用戶名
            lis = browser.find_elements_by_xpath("http://p[@class='comment-con']")   #獲取評論
            for i in range(len(user)):
                writer.writerow([user[i].text, lis[i].text])
            button2 = browser.find_element_by_class_name("ui-pager-next")   #獲取下一頁按鈕
            print(button2.text)
            sleep(1)
            print("第%d頁" %m)
            button2.click()
            sleep(5)
finally:
    browser.close()
              
            

其中xpath對應網頁元素

評論:

使用Python的自動化工具Selenium爬取京東商品評論_第4張圖片

用戶名:

使用Python的自動化工具Selenium爬取京東商品評論_第5張圖片

?

四、代碼

              
                from selenium import webdriver
from time import sleep
import csv

browser = webdriver.Chrome()#需要使用chrome的調用驅動chormedrive導入script目錄
try:
    browser.get('https://item.jd.com/100002795959.html#none')   #控制瀏覽器跳轉到這個網頁
    button = browser.find_element_by_xpath("http://li[@clstag='shangpin|keycount|product|shangpinpingjia_1']")   #獲取商品評論按鈕
    button.click()  #控制按鈕進行點擊
    sleep(10)   #等待網頁加載,防止網頁加載過慢

    with open('comment_con.csv', 'w') as csvfile:   #新建并打開comment_con.csv文件
        writer = csv.writer(csvfile)
        writer.writerow(['user_name', 'comment'])   #寫第一行
        for n in range(99): #進行99次循環
            m = n+1
            print(m)
            user = browser.find_elements_by_xpath("http://div[@class='user-info']")  #獲取用戶名
            lis = browser.find_elements_by_xpath("http://p[@class='comment-con']")   #獲取評論
            for i in range(len(user)):
                writer.writerow([user[i].text, lis[i].text])
            button2 = browser.find_element_by_class_name("ui-pager-next")   #獲取下一頁按鈕
            print(button2.text)
            sleep(1)
            print("第%d頁" %m)
            button2.click()
            sleep(5)
finally:
    browser.close()
              
            
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

五、結果

使用Python的自動化工具Selenium爬取京東商品評論_第6張圖片 wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== ?


博客記錄學習,傳遞知識,共同進步,希望對你有幫助。QAQ


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。?!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 123日本不卡在线观看 | 亚洲国产精品久久久久久网站 | 国产福利在线免费观看 | 日日撸| 91精品久久久久久久久久 | 国产1区2区3区在线观看 | 777kkk亚洲综合欧美色老头 | 亚洲免费一级视频 | 999热成人精品国产免 | 中文字幕在线观看日本 | 夜夜爽夜夜操 | 在线99| 狠狠色狠狠综合久久 | 国内精品久久久久影院6 | 色婷婷色 | 久久伊人最新 | 中文字幕亚洲精品第一区 | 日日狠狠 | 亚洲一二三区在线观看 | 亚洲人人草| 国产午夜精品久久理论片 | 成人在线观看不卡 | 欧美色视频日本片免费高清 | 欧美综合图片区 | 天天干夜夜爱 | 中文字幕在线观看一区二区 | 成人牲交一极毛片 | 一级在线 | 欧洲 | 国产一区二区中文字幕 | 久热re这里只有精品视频 | 97在线公开视频 | 色网站在线观看 | 国产精品久久久久a影院 | 国产在线精品一区二区中文 | 色婷婷激婷婷深爱五月小蛇 | 久久91精品久久91综合 | 国产伦一区二区三区四区久久 | 国产精品久久久久毛片真精品 | 久久99国产精品成人 | 欧美操操| 亚洲欧美精品一区 |