亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python進行數據提取的方法總結

系統 1912 0

準備工作

首先是準備工作,導入需要使用的庫,讀取并創建數據表取名為loandata。

            
import numpy as np
import pandas as pd
loandata=pd.DataFrame(pd.read_excel('loan_data.xlsx'))
          

Python進行數據提取的方法總結_第1張圖片

設置索引字段

在開始提取數據前,先將 member_id 列設置為索引字段。然后開始提取數據。

            
Loandata = loandata.set_index('member_id')
          

Python進行數據提取的方法總結_第2張圖片

按行提取信息

第一步是按行提取數據,例如提取某個用戶的信息。下面使用ix函數對 member_id 為1303503的用戶信息進行了提取。

            
loandata.ix[1303503]
          

Python進行數據提取的方法總結_第3張圖片

按列提取信息

第二步是按列提取數據,例如提取用戶工作年限列的所有信息,下面是具體的代碼和提取結果,顯示了所有用戶的工作年齡信息。

            
loandata.ix[:,'emp_length']
          

Python進行數據提取的方法總結_第4張圖片

按行與列提取信息

第三步是按行和列提取信息,把前面兩部的查詢條件放在一起,查詢特定用戶的特定信息,下面是查詢 member_id 為1303503的用戶的 emp_length 信息。

            
loandata.ix[1303503,'emp_length']
          

在前面的基礎上繼續增加條件,增加一行同時查詢兩個特定用戶的貸款金額信息。具體代碼和查詢結果如下。結果中分別列出了兩個用戶的代碼金額。

            
loandata.ix[[1303503,1298717],'loan_amnt']
          

在前面的代碼后增加 sum 函數,對結果進行求和,同樣是查詢兩個特定用戶的貸款進行,下面的結果中直接給出了貸款金額的匯總值。

            
loandata.ix[[1303503,1298717],'loan_amnt'].sum()
          

除了增加行的查詢條件以外,還可以增加列的查詢條件,下面的代碼中查詢了一個特定用戶的貸款金額和年收入情況,結果中分別顯示了這兩個字段的結果。

            
loandata.ix[1303503,['loan_amnt','annual_inc']]
          

多個列的查詢也可以進行求和計算,在前面的代碼后增加 sum 函數,對這個用戶的貸款金額和年收入兩個字段求和,并顯示出結果。

            
loandata.ix[1303503,['loan_amnt','annual_inc']].sum()
          


提取特定日期的信息

數據提取中還有一種很常見的需求就是按日期維度對數據進行匯總和提取,如按月,季度的匯總數據提取和按特定時間段的數據提取等等。

設置索引字段

首先將索引字段改為數據表中的日期字段,這里將issue_d設置為數據表的索引字段。按日期進行查詢和數據提取。

            
loandata = loandata.set_index('issue_d')
          

Python進行數據提取的方法總結_第5張圖片

按日期提取信息

下面的代碼查詢了所有2016年的數據。

            
loandata['2016']
          

Python進行數據提取的方法總結_第6張圖片

在前面代碼的基礎上增加月份,查詢所有2016年3月的數據。

            
loandata['2016-03']
          

Python進行數據提取的方法總結_第7張圖片

繼續在前面代碼的基礎上增加日期,查詢所有2016年6月16日的數據。

            
loandata['2016-06-16']
          


Python進行數據提取的方法總結_第8張圖片

除了按單獨日期查詢以外,還可以按日期段進行數據查詢,下面的代碼中查詢了所有2016年1月至5月的數據。下面顯示了具體的查詢結果,可以發現數據的日期都是在1-5月的,但是按日期維度顯示的,這就需要我們對數據按月進行匯總。

            
loandata['2016-01':'2016-05']
          

Python進行數據提取的方法總結_第9張圖片

按日期匯總信息

Pandas中的 resample 函數可以完成日期的聚合工作,包括按小時維度,日期維度,月維度,季度及年的維度等等。下面我們分別說明。首先是按周的維度對前面數據表的數據進行求和。下面的代碼中W表示聚合方式是按周,how表示數據的計算方式,默認是計算平均值,這里設置為 sum ,進行求和計算。

            
loandata.resample('W',how=sum).head(10)
          

Python進行數據提取的方法總結_第10張圖片

將W改為M,數據變成了按月聚合的方式。計算方式依然是求和。這里需要說明的是 resample 函數會顯示出所有連續的時間段,例如前面按周的聚合操作會顯示連續的周日期,這里的按月操作則會在結果中顯示連續的月,如果某個時間段沒有數據,會以NaN值顯示。

            
loandata.resample('M',how=sum)
          

Python進行數據提取的方法總結_第11張圖片

將前面代碼中的M改為Q,則為按季度對數據進行聚合,計算方式依然為求和。從下面的數據表中看,日期顯示的都是每個季度的最后一天,如果希望以每個季度的第一天顯示,可以改為QS。

            
loandata.resample('Q',how=sum)
          

Python進行數據提取的方法總結_第12張圖片

將前面代碼中的Q改為A,就是按年對數據進行聚合,計算方式依然為求和。

            
loandata.resample('A',how=sum)
          

前面的方法都是對整個數據表進行聚合和求和操作,如果只需要對某一個字段的值進行聚合和求和,可以在數據表后增加列的名稱。下面是將貸款金額字段按月聚合后求和,并用0填充空值。

            
loandata['loan_amnt'].resample('M',how=sum).fillna(0)
          

Python進行數據提取的方法總結_第13張圖片

在前面代碼的基礎上再增加一個數值字段,并且在后面的計算方式中增加 len 用來計數。在下面的結果中分別對貸款金額和利息收入按月聚合,并進行求和和計數計算

            
loandata[['loan_amnt','total_rec_int']].resample('M',how=[len,sum])
          

Python進行數據提取的方法總結_第14張圖片

有時我們需要只對某一時間段的數據進行聚合和計算,下面的代碼中對2016年1月至5月的數據按月進行了聚合,并計算求和。用0填充空值。

            
loandata['2016-01':'2016-05'].resample('M',how=sum).fillna(0)
          

Python進行數據提取的方法總結_第15張圖片

或者只對某些符合條件的數據進行聚合和計算。下面的代碼中對于貸款金額大于5000的按月進行聚合,并計算求和。空值以0進行填充。

            
loandata[loandata['loan_amnt']>5000].resample('M',how=sum).fillna(0)
          

Python進行數據提取的方法總結_第16張圖片

除了按周,月,季度和年以外, resample 函數還可以按以下方式對日期進行聚合。

下面給出了具體的對應表和說明。

? Python進行數據提取的方法總結_第17張圖片

總結

以上就是利用python按特定的維度或條件對數據進行提取的全部內容,希望本文的內容對大家學習使用Python能有所幫助。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 狠狠色综合色综合网络 | 精品精品久久宅男的天堂 | 久久精品加勒比中文字幕 | 一级片成人 | 99精品在线免费观看 | 亚洲精彩 | 国内成人精品视频 | 日日摸夜夜摸狠狠摸97 | 国产精品久久久久久久久久直 | 一级a爱片久久毛片 | 国产l精品国产亚洲区久久 国产l精品国产亚洲区在线观看 | 精品视频一区二区 | 欧美激情亚洲精品日韩1区2区 | 国产日韩欧美综合 | 国产成人综合网亚洲欧美在线 | 久久精品免视看国产成人2021 | 久久性生活 | 国产精品一区二区久久沈樵 | 久久午夜影院 | 日韩欧美一区二区久久 | 国产高清一区二区三区免费视频 | 另类重口性色老妇 | 日本又黄又爽又色的免费视频 | 综合色在线观看 | 欧美激情亚洲精品日韩1区2区 | 日日摸夜夜添夜夜添97 | 久久久伊人影院 | 久久精品加勒比中文字幕 | 俄罗斯美女逼 | 久久99精品久久久久久 | 夜夜嘿视频免费看 | 日本网站在线播放 | 亚洲日本va | 深夜福利国产精品亚洲尤物 | 操她视频网站 | 亚洲综合精品香蕉久久网97 | 欧美高清激情毛片 | 国产亚洲精品久久久久91网站 | 99热最新在线 | 奇米影视四色狠狠888俺去啦 | 夜夜躁日日躁狠狠 |