亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

用Python實現嶺回歸算法與Lasso回歸算法并處理Iris數據集

系統 1873 0

在介紹嶺回歸算法與Lasso回歸算法之前,先要回顧一下線性回歸算法。根據線性回歸模型的參數估計公式可知可知,得到的前提是矩陣可逆。換句話說就是樣本各個特征(自變量)之間線性無關。然而在實際問題中,常常會出現特征之間出現多重共線性的情況,使得行列式的值接近于0,最終造成回歸系數無解或者無意義。

?為了解決這個問題,嶺回歸算法的方法是在線性回歸模型的目標函數之上添加一個l2的正則項,進而使得模型的回歸系數有解。具體的嶺回歸目標函數可表示為如下:

?

在Python中,嶺回歸算法的實現方法如下。

?在Python中sklearn算法包已經實現了所有基本機器學習的算法。直接

            
              from
            
             sklearn.linear_model 
            
              import
            
             Ridge,RidgeCV
          

就可以調用該算法。

?Iris數據集的加載與預處理已在前文中介紹過,此處不再累述。定義嶺回歸算法的方法為如下:

            rigdeCV = RidgeCV(alphas=Lambdas,normalize=True,scoring=
            
              '
            
            
              neg_mean_squared_error
            
            
              '
            
            ,cv=15)
          

其中alphas用于指定多個λ值的元組或數組對象,默認該參數包含0.1、1和10三個值。normalize指是否對數據集進行歸一化處理。scoring指的是用于評估模型的度量方法,此處為RMSE均分誤差。cv指交叉驗證的重數。

此處我使用的是15重交叉驗證法確定的λ值。上面Lambdas為logspace方法生成的數組。

            Lambdas = np.logspace(-5,2,200)
          

最后訓練,測試:

            
              rigdeCV.fit(X_train,Y_train)
predictedResult 
            
            = rigdeCV.predict(X_test)
          

注意此處predictedResult為Series不是List。

此時嶺回歸算法分類正確率為0.8。

? 用Python實現嶺回歸算法與Lasso回歸算法并處理Iris數據集_第1張圖片

?

嶺回歸算法固然解決了線性回歸模型中矩陣不可逆的問題。但嶺回歸算法無論如何會保留建模時所有的變量,無法降低模型的復雜度。為了克服嶺回歸算法的缺點,Lasso回歸算法被提了出來。

?與嶺回歸算法類似,Lasso回歸算法同樣屬于縮減性估計。而且在回歸系數的縮減過程中,可以將一些不重要的回歸系數縮減為0,以打到變量篩選的目的。Lasso回歸算法的目標函數為如下:

具體在Python上實現的方式與嶺回歸算法類似,先導入liner_model中的LassoCV類,然后就可以使用:

            lasso_cv = LassoCV(alphas=Lambdas,normalize=True,cv=10,max_iter=10000)
          

這里max_iter指的是模型最大迭代次數。其它參數與嶺回歸類似。

此時Lasso回歸算法的準確率為0.8。

用Python實現嶺回歸算法與Lasso回歸算法并處理Iris數據集_第2張圖片

?

由于嶺回歸算法和Lasso回歸算法的相似性,在本次實驗中,二者的分類結果完全相同,分類準確率同為0.8。考慮到線性回歸并不是特別適合分類問題,所以這種結果也可以接受。下一步的學習方向是GBDT以及多種算法的綜合模型。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 国产亚洲一区二区三区在线观看 | a级片免费在线播放 | 精品热久国产福利视频 | 成 人 黄 片 大全 | 日韩a无吗一区二区三区 | a级毛片在线视频免费观看 a级免费网站 | 免费国产不卡午夜福在线 | 日本高清免费毛片久久看 | 亚洲欧美日韩国产精品26u | 久久一本 | 国产a不卡片精品免费观看 国产a高清 | 四虎爱爱 | 国产精品久久久久久久久免费hd | 日本毛片免费看 | 日韩在线国产 | 伊人久久一本 | 久久五月天婷婷 | 波多野结衣 一区二区 | 天天靠天天擦天天摸 | 久久精品免视看国产明星 | www.天天操| 久久夜色撩人精品国产 | 成人精品综合免费视频 | 色婷婷久久久swag精品 | 日韩欧美一区二区久久黑人 | 久操小视频| 四虎影片国产精品8848 | 2020亚洲欧美日韩在线观看 | 中文字幕日本精品一区二区三区 | 亚洲国产图片 | 亚洲欧美日韩在线不卡 | 亚洲国产成人久久精品图片 | 精品久久中文字幕 | 免费性视频 | 久久精品免视看国产盗摄 | 日本一级毛片免费 | 国产综合视频在线 | 精品久久久久久午夜 | 日本三级强在线观看 | 欧美一区二区三区在线可观看 | 亚洲欧美日韩在线一区二区三区 |