亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python pandas用法最全整理

系統 1752 0

1、首先導入pandas庫,一般都會用到numpy庫,所以我們先導入備用:

            
import numpy as npimport pandas as pd
          

2、導入CSV或者xlsx文件:

            
df = pd.DataFrame(pd.read_csv('name.csv',header=1))df = pd.DataFrame(pd.read_excel('name.xlsx'))
          

3、用pandas創建數據表:

            
df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006], "date":pd.date_range('20130102', periods=6), "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '], "age":[23,44,54,32,34,32], "category":['100-A','100-B','110-A','110-C','210-A','130-F'], "price":[1200,np.nan,2133,5433,np.nan,4432]},columns =['id','date','city','category','age','price'])
          

二、數據表信息查看

1、維度查看:

            
df.shape
          

2、數據表基本信息(維度、列名稱、數據格式、所占空間等):

            
df.info()
          

3、每一列數據的格式:

            
df.dtypes
          

4、某一列格式:

            
df['B'].dtype
          

5、空值:

            
df.isnull()
          

6、查看某一列空值:

            
df.isnull()
          

7、查看某一列的唯一值:

            
df['B'].unique()
          

8、查看數據表的值:

            
df.values
          

9、查看列名稱:

            
df.columns
          

10、查看前10行數據、后10行數據:

            
df.head() #默認前10行數據df.tail()  #默認后10 行數據
          

相關推薦:《Python視頻教程》

三、數據表清洗

1、用數字0填充空值:

            
df.fillna(value=0)
          

2、使用列prince的均值對NA進行填充:

            
df['prince'].fillna(df['prince'].mean())
          

3、清楚city字段的字符空格:

            
df['city']=df['city'].map(str.strip)
          

4、大小寫轉換:

            
df['city']=df['city'].str.lower()
          

5、更改數據格式:

            
df['price'].astype('int')
          

6、更改列名稱:

            
df.rename(columns={'category': 'category-size'})
          

7、刪除后出現的重復值:

            
df['city'].drop_duplicates()
          

8、刪除先出現的重復值:

            
df['city'].drop_duplicates(keep='last')
          

9、數據替換:

            
df['city'].replace('sh', 'shanghai')
          

四、數據預處理

            
df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008], "gender":['male','female','male','female','male','female','male','female'],"pay":['Y','N','Y','Y','N','Y','N','Y',],"m-point":[10,12,20,40,40,40,30,20]})
          

1、數據表合并

            
df_inner=pd.merge(df,df1,how='inner') # 匹配合并,交集df_left=pd.merge(df,df1,how='left')    #df_right=pd.merge(df,df1,how='right')df_outer=pd.merge(df,df1,how='outer') #并集
          

2、設置索引列

            
df_inner.set_index('id')
          

3、按照特定列的值排序:

            
df_inner.sort_values(by=['age'])
          

4、按照索引列排序:

            
df_inner.sort_index()
          

5、如果prince列的值>3000,group列顯示high,否則顯示low:

            
df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low')
          

6、對復合多個條件的數據進行分組標記

            
df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price'] >= 4000), 'sign']=1
          

7、對category字段的值依次進行分列,并創建數據表,索引值為df_inner的索引列,列名稱為category和size

            
pd.DataFrame((x.split('-') for x in df_inner['category']),index=df_inner.index,columns=['category','size']))
          

8、將完成分裂后的數據表和原df_inner數據表進行匹配

            
df_inner=pd.merge(df_inner,split,right_index=True, left_index=True)
          

五、數據提取

主要用到的三個函數:loc,iloc和ix,loc函數按標簽值進行提取,iloc按位置進行提取,ix可以同時按標簽和位置進行提取。

1、按索引提取單行的數值

            
df_inner.loc[3]
          

2、按索引提取區域行數值

            
df_inner.iloc[0:5]
          

3、重設索引

            
df_inner.reset_index()
          

4、設置日期為索引

            
df_inner=df_inner.set_index('date')
          

5、提取4日之前的所有數據

            
df_inner[:'2013-01-04']
          

6、使用iloc按位置區域提取數據

            
df_inner.iloc[:3,:2] #冒號前后的數字不再是索引的標簽名稱,而是數據所在的位置,從0開始,前三行,前兩列。
          

7、適應iloc按位置單獨提起數據

            
df_inner.iloc[[0,2,5],[4,5]] #提取第0、2、5行,4、5列
          

8、使用ix按索引標簽和位置混合提取數據

            
df_inner.ix[:'2013-01-03',:4] #2013-01-03號之前,前四列數據
          

9、判斷city列的值是否為北京

            
df_inner['city'].isin(['beijing'])
          

10、判斷city列里是否包含beijing和shanghai,然后將符合條件的數據提取出來

            
df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])]
          

11、提取前三個字符,并生成數據表

            
pd.DataFrame(category.str[:3])
          

六、數據篩選

使用與、或、非三個條件配合大于、小于、等于對數據進行篩選,并進行計數和求和。

1、使用“與”進行篩選

            
df_inner.loc[(df_inner['age'] > 25) & (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']]
          

2、使用“或”進行篩選

            
df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']].sort(['age'])
          

3、使用“非”條件進行篩選

            
df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id'])
          

4、對篩選后的數據按city列進行計數

            
df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']).city.count()
          

5、使用query函數進行篩選

            
df_inner.query('city == ["beijing", "shanghai"]')
          

6、對篩選后的結果按prince進行求和

            
df_inner.query('city == ["beijing", "shanghai"]').price.sum()
          

七、數據匯總

主要函數是groupby和pivote_table

1、對所有的列進行計數匯總

            
df_inner.groupby('city').count()
          

2、按城市對id字段進行計數

            
df_inner.groupby('city')['id'].count()
          

3、對兩個字段進行匯總計數

            
df_inner.groupby(['city','size'])['id'].count()
          

4、對city字段進行匯總,并分別計算prince的合計和均值

            
df_inner.groupby('city')['price'].agg([len,np.sum, np.mean])
          

八、數據統計

數據采樣,計算標準差,協方差和相關系數

1、簡單的數據采樣

            
df_inner.sample(n=3)
          

2、手動設置采樣權重

            
weights = [0, 0, 0, 0, 0.5, 0.5]df_inner.sample(n=2, weights=weights)
          

3、采樣后不放回

            
df_inner.sample(n=6, replace=False)
          

4、采樣后放回

            
df_inner.sample(n=6, replace=True)
          

5、 數據表描述性統計

            
df_inner.describe().round(2).T #round函數設置顯示小數位,T表示轉置
          

6、計算列的標準差

            
df_inner['price'].std()
          

7、計算兩個字段間的協方差

            
df_inner['price'].cov(df_inner['m-point'])
          

8、數據表中所有字段間的協方差

            
df_inner.cov()
          

9、兩個字段的相關性分析

            
df_inner['price'].corr(df_inner['m-point']) #相關系數在-1到1之間,接近1為正相關,接近-1為負相關,0為不相關
          

10、數據表的相關性分析

            
df_inner.corr()
          

九、數據輸出

分析后的數據可以輸出為xlsx格式和csv格式

1、寫入Excel

            
df_inner.to_excel('excel_to_python.xlsx', sheet_name='bluewhale_cc')
          

2、寫入到CSV

            
df_inner.to_csv('excel_to_python.csv')
          

以上就是最全的Python pandas用法總結的詳細內容,感謝大家的閱讀和對腳本之家的支持。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 四虎a级欧美在线观看 | 久久网欧美| 香蕉依依精品视频在线播放 | 国产精品久久久久鬼色 | 一级特黄特黄的大片免费 | 米奇7777狠狠狠狠视频影院 | 2020久久国产精品福利 | 偷偷鲁国内视频视频在线 | 看一级毛片一区二区三区免费 | 一级特级aaaa毛片免费观看 | 奇米影视7777久久精品 | 久久精品国产400部免费看 | 久久国产乱子伦免费精品 | 国产综合欧美日韩视频一区 | 国产成人综合久久 | 99久久综合狠狠综合久久 | 国产一级片毛片 | 天天射天天干天天操 | 伊人精品视频在线 | 亚洲综合在线成人一区 | 亚洲特级片 | 66av99精品福利视频在线 | 国产在线观看一区二区三区四区 | 国产精品亚洲欧美一区麻豆 | 国产福利91精品一区二区 | 国产成人一区二区在线不卡 | 国产精品mm | 久久精品免费全国观看国产 | 直接看毛片| 久久精品图片 | 成人免费高清视频 | 成人99国产精品 | 97久久国语露脸精品对白 | 一道本不卡免费视频 | 四虎影永久在线高清免费 | 欧美性生活一级 | 这里精品| 精品美女在线观看 | 成人18网址在线观看 | 好吊妞视频998www | 亚洲精品免费观看 |