這是一篇機(jī)器學(xué)習(xí)崗位的筆試題,題目大概就是:
給定了數(shù)據(jù)特征和數(shù)據(jù)標(biāo)簽(二分類),使用機(jī)器學(xué)習(xí)算法對(duì)數(shù)據(jù)進(jìn)行分類,并優(yōu)化兩個(gè)重要的參數(shù),計(jì)算AUC指標(biāo),畫出參數(shù)優(yōu)化和AUC指標(biāo)變化圖。
本文選擇的是SVM(支持向量機(jī))來實(shí)現(xiàn)這一過程,SVM是非常強(qiáng)大、靈活的有監(jiān)督學(xué)習(xí)的算法,既可以用于分類,也可以用于回歸。
實(shí)現(xiàn)過程:
1.導(dǎo)入需要的包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score
from sklearn import preprocessing
from sklearn.model_selection import GridSearchCV
2.讀取數(shù)據(jù)特征和數(shù)據(jù)標(biāo)簽
path1 = r"Test1_features.dat"
X = pd.read_csv(path1,engine ='python',header=None)
path2 = r"Test1_labels.dat"
Y = pd.read_csv(path2,engine ='python',header=None)
3.查看數(shù)據(jù)特征的統(tǒng)計(jì)信息
查看數(shù)據(jù)特征的基本統(tǒng)計(jì)信息會(huì)發(fā)現(xiàn)數(shù)據(jù)之間存在量級(jí)差異,因此選擇對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化(下圖顯示不完全)
X.describe()
#默認(rèn)優(yōu)化到取件[0,1]之間
X = preprocessing.scale(X)
5.選擇網(wǎng)格優(yōu)化的兩個(gè)參數(shù)
首先對(duì)于SVM來說,懲罰系數(shù)C是很重要的參數(shù),肯定要選擇;
其次這里的核函數(shù)選擇的是RBF,因此另一個(gè)參數(shù)選擇Gamma。
6.計(jì)算不同參數(shù)時(shí)的AUC指標(biāo)
x = y = z = []
for C in range(1,10,1):
for gamma in range(1,11,1):
#參數(shù)scoring設(shè)置為roc_auc返回的是AUC,cv=5采用的是5折交叉驗(yàn)證
auc = cross_val_score(SVC(C=C,kernel='rbf',gamma=gamma/10),X,Y,cv=5,scoring='roc_auc').mean()
x.append(C)
y.append(gamma/10)
z.append(auc)
7.將list轉(zhuǎn)換為二維數(shù)組
x = np.array(x).reshape(9,10)
y = np.array(y).reshape(9,10)
z = np.array(z).reshape(9,10)
8.繪制三維網(wǎng)格優(yōu)化圖
fig = plt.figure()
ax = Axes3D(fig)
ax.plot_surface(y, x, z, rstride=1, cstride=1, cmap=plt.get_cmap('rainbow'))
plt.xlabel('Gamma')
plt.ylabel('C')
當(dāng)然,這里繪制的圖跟想象的有點(diǎn)不一樣,由于前面參數(shù)C和Gamma選擇的原因。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
