亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python實(shí)現(xiàn)決策樹并且使用Graphviz可視化的例子

系統(tǒng) 1869 0

一、什么是決策樹(decision tree)――機(jī)器學(xué)習(xí)中的一個(gè)重要的分類算法

決策樹是一個(gè)類似于數(shù)據(jù)流程圖的樹結(jié)構(gòu):其中,每個(gè)內(nèi)部節(jié)點(diǎn)表示一個(gè)屬性上的測(cè)試,每個(gè)分支代表一個(gè)屬性輸出,而每個(gè)樹葉結(jié)點(diǎn)代表類或者類的分布,樹的最頂層是根結(jié)點(diǎn)

根據(jù)天氣情況決定出游與否的案例

Python實(shí)現(xiàn)決策樹并且使用Graphviz可視化的例子_第1張圖片

二、決策樹算法構(gòu)建

2.1決策樹的核心思路

特征選擇:從訓(xùn)練數(shù)據(jù)的特征中選擇一個(gè)特征作為當(dāng)前節(jié)點(diǎn)的分裂標(biāo)準(zhǔn)(特征選擇的標(biāo)準(zhǔn)不同產(chǎn)生了不同的特征決策樹算法)。

決策樹生成:根據(jù)所選特征評(píng)估標(biāo)準(zhǔn),從上至下遞歸地生成子節(jié)點(diǎn),直到數(shù)據(jù)集不可分則停止決策樹停止聲場(chǎng)。

剪枝:決策樹容易過擬合,需要剪枝來縮小樹的結(jié)構(gòu)和規(guī)模(包括預(yù)剪枝和后剪枝)。

2.2 熵的概念:度量信息的方式

實(shí)現(xiàn)決策樹的算法包括ID3、C4.5算法等。常見的ID3核心思想是以信息增益度量屬性選擇,選擇分裂后信息增益最大的屬性進(jìn)行分裂。

一條信息的信息量大小和它的不確定性有直接的關(guān)系,要搞清楚一件非常不確定的事情,或者是我們一無所知的事情,需要大量的信息====>信息量的度量就等于不確定性的 多少。也就是說變量的不確定性越大,熵就越大

信息熵的計(jì)算公司

Python實(shí)現(xiàn)決策樹并且使用Graphviz可視化的例子_第2張圖片

S為所有事件集合,p為發(fā)生概率,c為特征總數(shù)。

信息增益(information gain)是指信息劃分前后的熵的變化,也就是說由于使用這個(gè)屬性分割樣例而導(dǎo)致的期望熵降低。也就是說,信息增益就是原有信息熵與屬性劃分后信息熵(需要對(duì)劃分后的信息熵取期望值)的差值,具體計(jì)算如下:

其中,第二項(xiàng)為屬性A對(duì)S劃分的期望信息。

三、IDE3決策樹的Python實(shí)現(xiàn)

以下面這個(gè)不同年齡段的人買電腦的情況為例子建模型算法

Python實(shí)現(xiàn)決策樹并且使用Graphviz可視化的例子_第3張圖片

            
'''
Created on 2018年7月5日
使用python內(nèi)的科學(xué)計(jì)算的庫實(shí)現(xiàn)利用決策樹解決問題 
@author: lenovo
'''
#coding:utf-8
from sklearn.feature_extraction import DictVectorizer
#數(shù)據(jù)存儲(chǔ)的格式 python自帶不需要安裝
import csv 
#預(yù)處理的包
from sklearn import preprocessing
from sklearn.externals.six import StringIO
from sklearn.tree import tree 
from sklearn.tree import export_graphviz
'''
文件保存格式需要是utf-8
window中的目錄形式需要是左斜杠 F:/AA_BigData/test_data/test1.csv
excel表格存儲(chǔ)成csv格式并且是utf-8格式的編碼
'''
'''
決策樹數(shù)據(jù)源讀取
scklearn要求的數(shù)據(jù)類型 特征值屬性必須是數(shù)值型的
需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理
'''
#裝特征的值
featureList=[] 
#裝類別的詞
labelList=[]
with open("F:/AA_BigData/test_data/decision_tree.csv", "r",encoding="utf-8") as csvfile:
 decision =csv.reader(csvfile)
 headers =[]
 row =1
 for item in decision:
 if row==1:
  row=row+1
  for head in item:
  headers.append(head)
 else:
  itemDict={}
  labelList.append(item[len(item)-1])
  for num in range(1,len(item)-1):
#  print(item[num])
  itemDict[headers[num]]=item[num]
  featureList.append(itemDict) 
print(headers)
print(labelList)
print(featureList)
'''
將原始數(shù)據(jù)轉(zhuǎn)換成包含有字典的List
將建好的包含字典的list用DictVectorizer對(duì)象轉(zhuǎn)換成0-1矩陣
'''
vec =DictVectorizer()
dumyX =vec.fit_transform(featureList).toarray();
#對(duì)于類別使用同樣的方法
lb =preprocessing.LabelBinarizer()
dumyY=lb.fit_transform(labelList)
print(dumyY)
'''
 1.構(gòu)建分類器――決策樹模型
 2.使用數(shù)據(jù)訓(xùn)練決策樹模型
'''
clf =tree.DecisionTreeClassifier(criterion="entropy")
clf.fit(dumyX,dumyY)
print(str(clf))
'''
1.將生成的分類器轉(zhuǎn)換成dot格式的 數(shù)據(jù)
2.在命令行中dot -Tpdf iris.dot -o output.pdf將dot文件轉(zhuǎn)換成pdf圖的文件
'''
#視頻上講的不適用python3.5
with open("F:/AA_BigData/test_data/decisiontree.dot", "w") as wFile:
 export_graphviz(clf,out_file=wFile,feature_names=vec.get_feature_names())
 
 

          

Graphviz對(duì)決策樹的可視化

Python實(shí)現(xiàn)決策樹并且使用Graphviz可視化的例子_第4張圖片

以上這篇Python實(shí)現(xiàn)決策樹并且使用Graphviz可視化的例子就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 99爱在线观看精品视频 | 精品一区二区三区的国产在线观看 | 99久精品| 久久久日本精品一区二区三区 | 99re这里只有精品国产精品 | 日韩香蕉网 | 国产大尺度福利视频在线 | 国产成人爱片免费观看视频 | 国产成人久久精品推最新 | 午夜影网 | 久久亚洲精品国产精品婷婷 | 国产最新一区二区三区天堂 | 嫩模在线| 亚洲性在线| 久久不卡一区 | 手机看片福利在线 | 九九99香蕉在线视频免费 | 99r8这里精品热视频免费看 | 国产欧美另类久久久精品免费 | 亚洲精品国产v片在线观看 亚洲精品国产啊女成拍色拍 | 日韩有码第一页 | 欧美香蕉爽爽人人爽观看猫咪 | 欧美在线播放成人免费 | 欧美在线中文 | 五月婷婷综合在线 | 亚洲视频 中文字幕 | 久久久久久久久久综合情日本 | 免费真实播放国产乱子伦 | 牛牛影视在线观看片免费 | 中文字幕亚洲一区二区v@在线 | 狠狠综合欧美综合欧美色 | 国产高清美女一级a毛片久久w | 亚洲欧美一区二区视频 | 欧美亚洲国产第一页草草 | 羞羞视频免费观看网站 | 日韩欧美三区 | 国产中文字幕第一页 | 特黄级 | 国产国产精品人在线视 | 国产午夜成人无码免费看 | 狠狠色噜噜狠狠狠狠色综合久 |