到現在為止,我們的淘寶教程已經寫到了第四篇,前三篇分別是:
- 第一篇:Python模擬登錄淘寶,詳細講解如何使用requests庫登錄淘寶pc端。
- 第二篇:淘寶自動登錄2.0,新增Cookies序列化,教大家如何將cookies保存起來。
- 第三篇:Python爬取淘寶商品避孕套,教大家如何爬取淘寶pc端商品信息。
今天,我們來看看淘寶系列的第四篇
我們在上一篇的時候已經將淘寶數據爬取下來了,但是并沒有做數據分析。所以今天這篇文章就是教大家如何去分析數據,得出一些有用的結論!
Python語言相比其他語言的優勢在哪里?豬哥認為是 數據分析 和 人工智能 這兩大塊,而且這兩個方向需求會慢慢增大,所以那些想學習Python卻不知道要朝著哪個目標學習的同學可以考慮往這兩個方向發展!
一、分析目標
數據分析之前我們需要清楚的知道自己想要分析什么東西,也就是先搞清楚我們的目標。在公司可能是公司財報、用戶增量變化、產品受歡迎程度、一些報表等等。
那我們今天的目標有哪些呢?我們來看看:
- 分析避孕套標題高頻關鍵字
- 分析避孕套標題高頻關鍵字 與 商品數量關系
- 分析避孕套標題高頻關鍵字 與 平均銷量關系
- 分析避孕套標題高頻關鍵字 與 平均售價關系
- 分析避孕套商品價格區間分布關系
- 分析避孕套商品銷量區間分布關系
- 分析避孕套商品價格區間 與 平均銷量關系
- 分析避孕套商家數量全國分布關系
- 分析避孕套商家全國平均銷量關系
注意: 以上數據分析全部基于上次爬取的2500款淘寶商品(默認排序),并不代表淘寶所有避孕套商品!
二、分析實現
有了明確的目標之后,我們就要開始技術選型。
首先數據處理的庫這個很好確定,基本就是 numpy 和 pandas 這兩個必備的庫,所以大家首先確保已經安裝了這兩個庫。
然后數據可視化庫呢?這么多可視化庫該怎么選?如果你不知道怎么選,那豬哥給你推薦: pyecharts 這個由中國人開發的可視化庫,想要什么類型的圖在下面文檔里面找就行。
中文文檔:https://pyecharts.org/#/zh-cn/intro
源碼地址:https://github.com/pyecharts/pyecharts
最后技術選型完畢,我們就可以開始正式的敲代碼分析了。(分析的標題將和上面的分析目標一一對應)
0.數據清洗
在我們數據分析之前,我們需要對數據進行清洗。因為從淘寶爬取下來的數據并不是標準的數據,比如:商品銷量,爬取下來的數據是: 2.5萬+人付款 ,我們需要將它轉為: 25000(整型) ,這樣才方面后面的處理!
我們先來看看從淘寶爬取的原始數據,看看那些數據需要清洗
根據使用庫的經驗豬哥認為有兩列數據需要清洗:1、銷量轉成整型 2、地區轉成只包含省份,具體如何清洗我們直接看代碼吧!
大家可以看到最后豬哥又從新生成了一個excel文件,目的就是不去污染原始數據,
因為原始數據非常重要
,所以我們在以后的數據處理中要盡量保存好原始數據,多備份幾個都不多余!
1.分析避孕套標題高頻關鍵字
數據清洗完畢之后,我們就可以開始分析了。
分析標題高頻關鍵字這都是老生常談的一個流程,也就是使用jieba分詞,然后統計詞頻,最后生成一個詞云圖,我相信經常看豬哥公眾號的同學看都看膩了吧,這種小功能閉著眼睛都會了。
十幾行代碼就搞定了,我們來看看效果圖吧
分析結論:
- 從整體看商家取名偏愛情趣二字
- 從材質看尿酸的最多
- 從功能看顆粒、螺紋的較多
ps:別問豬哥最中意哪個詞,問就是 延時 。
2.分析避孕套標題高頻關鍵字 與 商品數量關系
上面我們只看到大概哪些功能受歡迎,如果需要看具體的數據怎么辦呢?
我們就來統計一下包含這些高頻關鍵詞的商品數據數量吧,代碼講解在圖片下方,下同!
我們取最高頻的20個關鍵字,然后遍歷所有數據的標題中是否包含其中關鍵字,如果包含則該關鍵字的value就+1。來看看生成的柱狀圖效果吧!
分析結論:
- 包含情趣二字的商品有1150款,占到總數(2500款+)的46%。
- 前三甲是:情趣、尿酸、顆粒
ps:豬哥有個疑問想請教各位老司機:這個 免洗 是咋玩的?
3.分析避孕套標題高頻關鍵字 與 平均銷量關系
這個分析有意思了,就相當于用戶更喜歡哪種功能或者材質的套套。
高頻關鍵字與平均銷量分析數據的實現方法是,同樣遍歷所有數據的標題,如果包含某個關鍵字,則把該項數據的銷量放在關鍵字的value中(一個list),統計完后再對每個關鍵字的value進行求平均值,最后再根據平均銷量排序。來看看效果吧!
- 螺紋功能平均銷量最高,大家的最愛
- 功能平均銷量前三分別是:螺紋、顆粒、狼牙
- 小號竟然上榜,哈哈
ps:有很多同學問:為什么不是超薄?超薄自己是爽了,可女朋友呢?
4.分析避孕套標題高頻關鍵字 與 平均售價關系
分析完大家喜歡的功能,再來分析下這些功能的價格如何?哪些功能的避孕套比較貴呢?
高頻關鍵字 與 平均售價關系分析原理與上面是相似的,使用的同一個方法,只不過是將原來的銷量換成價格,來看看效果圖吧!
分析結果:
- 可以看到前排幾個基本都是關于材質的
- 凝膠、透明質、免洗這三項均價最貴,超過100大洋
ps:類似凝膠、透明質、免洗的哪位老司機用過,和一般的有啥區別?
5.分析避孕套商品價格區間分布關系
商品的標題和功能差不多分析完了,我們來分析下價格吧!
豬哥人為的對價格進行了劃分,一共分為:'0-20', '21-40', '41-60', '61-80', '81-100', '101-120', '121-150', '151-200', '200以上'這9個區間,然后對數據切割、統計、排序,最后分別生成柱狀圖和餅圖。
分析結論:
- 價格區間在21-40的商品最多為778款,大約占比31%。
- 價格在一百以內與超過一百的商品比大概為7:1
ps:沒想到還有這么多超過100塊的,我想問下200塊價格的套套是啥感覺?
6.分析避孕套商品銷量區間分布關系
分析完價格當然是分析銷量區間了
銷量區間分布分析實現原理:認為為銷量分區,大概分為:'一千以內', '一千到五千', '五千到一萬', '一萬到五萬', '五萬到十萬', '十萬以上',這六個區間,然后同上方法進行統計、排序最后可視化。
分析結論:
- 銷量在1000以內的最多,大概占比90%
- 銷量過萬的一共也才10款,說明爆款真的很少
- 有一款套套銷量竟然超過10萬
ps:想知道那款超過10萬銷量的避孕套商品信息嗎?關注豬哥微信公眾號「裸睡的豬」回復:爆款套套,即可查看!
7.分析避孕套商品價格區間 與 平均銷量關系
假如你是一個避孕套賣家,新推出一款避孕套,你想知道價格定為多少銷量才會比較高呢?
這時候我們就可以通過分析價格與商品的銷量關系,用實際的數據來定價,這也正是數據分析的價值之一。
商品價格區間 與 平均銷量關系分析實現原理是:使用pandas自動分區將價格劃分為12個分區,然后對銷量數據分組、求平均值,來看看可視化之后的效果。
分析結論:
- 定價在31.9-39這個區間平均銷量最高,為893
- 定價在10元以內的銷量竟然高居第二
ps:誰用過10以內一盒的套套,出來走走
8.分析避孕套商家數量全國分布關系
標題、價格、銷量都分析過了,最后我們還分析下商家位置的數據。
分析的目標是統計全國各省避孕套商家數量,然后做成熱力圖和柱狀圖。
統計商家數量還是比較簡單,因為我們之前在數據清洗的時候已經只保留了省份數據,所以直接value_counts()就可以的到想要的數據,看看效果如何!
分析結論:
- 避孕套商家前三甲:廣東、上海、浙江
ps:貴州四周都有賣套套的,為何就它沒有?難道和地理有關?
9.分析避孕套商家全國平均銷量關系
分析完商家數后,我們來看看各省的平均銷量吧。
商家全國平均銷量關系分析實現原理:我們新創建一個透視表并對銷量求平均值,然后再排序,最后生成熱力圖和柱狀圖。
分析結論:
- 出乎意料的是山西39個商家平均銷量竟然是第一為1535。
ps:為何山西平均銷量是第一?原因是啥真想不通
三、總結
通過上面的數據分析,我們得到了一些有趣的結論:
- 用戶偏愛螺紋、顆粒、狼牙等功能
- 凝膠、透明質、免洗這三項均價最貴,超過100大洋
- 價格區間在21-40的商品最多為778款,大約占比31%
- 銷量在1000以內的最多,大概占比90%
- 定價在31.9-39這個區間平均銷量最高,為893
- 避孕套商家數量前三甲:廣東、上海、浙江
- 山西省平均銷量最高為山西
通過上述分析結果,如果豬哥作為一個避孕套商家,想要推出一款產品,設置標題帶螺紋、顆粒、狼牙,價格設置在31.9-39元,這樣可能會更暢銷一些。
數據分析作為一把利刃,能讓你看見別人看不見的事物,如果使用得當完全可以作為你創業的一個重要支點!
最后豬哥再送你一句忠告:想學數據分析,一定要學好pandas!!!
獲取源碼:關注微信公眾號「裸睡的豬」回復: 分析套套 即可獲取!
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
