R資料分析暨導引系統

首頁 » 分析方法 » 適應型強化分類法

適應型強化分類法
Adaptive Boosting, AdaBoost

方法簡介
範例F-6(2)
影音教學
維基百科(英文)

適應型強化分類法是一種分類(classification)的方法，由兩位電腦科學家Y. Freund和R. E. A. Schapirem於1995年共同提出，此方法在迭代的過程中會利用上一次分類錯誤的樣本來訓練下一個分類器，故具有適應性，當誤差達到一定的低值時，代表分類完成。

其他分類方法-方法簡介

本方法使用之R相關套件與參考文獻：
相關套件：stats、base、ada
參考文獻：(依套件名稱排序)

R Core Team (2013). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL： http://www.R-project.org/.
Mark Culp, Kjell Johnson and George Michailidis (2012). ada: ada: an R package for stochastic boosting. R package version 2.0-3. URL： http://CRAN.R-project.org/package=ada

範例F-6：

鳶尾花(iris)資料，最早由英國統計學家費雪(R. A. Fisher, 1890 – 1962)用於多變量分析(multivariate analysis)中的判別分析(discriminant analysis)，故常稱為費雪鳶尾花資料。此資料是由美國植物學家安德生(E. S. Anderson, 1897 – 1969)所收集，故也稱為安德生鳶尾花資料。此資料記錄了鳶尾花三個亞種及其特徵，三亞種分別為山鳶尾(setosa)、變色鳶尾(versicolor)及維吉尼亞鳶尾(virginica)，花的特徵則包含花萼(sepal)與花瓣(petal)的長度與寬度。

表：鳶尾花資料

變數名稱	花萼長度	花萼寬度	花瓣長度	花瓣寬度	品種
1	5.1	3.5	1.4	0.2	setosa
2	4.9	3.0	1.4	0.2	setosa
3	4.7	3.2	1.3	0.2	setosa
：	：	：	：	：	：
150	5.9	3.0	5.1	1.8	virginica

Q2：資料中記錄有花萼與花瓣的長度與寬度以及花的亞種，且花的亞種個數已確知為3種，植物學家想了解，若未看到花的實體，僅由記錄的資料中(花萼與花瓣的長度與寬度)是否能分辨出花的亞種?當有新的紀錄資料時，能否分辨該朵花屬於何種亞種?
統計方法：問題中想利用花萼與花瓣的長度與寬度來了解該花屬於何種亞種，且亞種個數為已知，故適合使用具有分類能力的分析方法。具有分類能力的方法有許多種，如判別分析(discriminat analysis)、決策樹(decision tree)或是類神經網路(neural network)，以下列出適用於此鳶尾花資料的方法，使用者可比較在相同的目的下，不同分析方法所獲得結果的差異性。

分類模式
決策樹	判別分析	類神經網路	其它分類方法
分類與迴歸樹(CART)	判別分析 (Discriminant Analysis)	單一隱藏層 Feed Forward網路(NNET)	支援向量機器 (Support Vector Machine)
快速不偏有效統計樹(QUEST)		多層感知機網路(MLP)	K最近鄰演算法 (K-Nearest Neighbors Algorithm)
卡方自動交互檢視法(CHAID)		輻射基底類神經網路( RBF )	單純貝式分類器 (Naïve Bayesian Classifier)
C5.0法		機率類神經網路(PNN)	適應型強化分類法 (Adaptive Boosting)
隨機森林法(Random Forest)		機率類神經網路(PNN)	適應型強化分類法 (Adaptive Boosting)

適應型強化分類法 - 分析結果

分析方法：適應型強化分類法
資料名稱：範例F-6
依變數名稱：Species
自變數名稱：Sepal.Length, Sepal.Width, Petal.Length, Petal.Width
計算時間：1.285秒

變數訊息^I：

數值變數(numerical)

變數名稱
Variable 樣本數
Count 平均數
Mean 中位數
Median 最小值
Minimum 最大值
Maximum 標準差
Std. dev.
Sepal.Length 100 6.262 6.3 4.9 7.9 0.6628
Sepal.Width 100 2.872 2.9 2 3.8 0.3328
Petal.Length 100 4.906 4.9 3 6.9 0.8256
Petal.Width 100 1.676 1.6 1 2.5 0.4248

類別變數(categorical)

變數名稱
Variable 變數值
Value 編碼
Coded 個數
Count
Species versicolor 0 50
virginica 1 50
I：變數訊息皆不包含遺失值

模式訊息：

損失(loss)函數 exponential

強化過程的迭代次數 50

強化(boosting)方法 discrete

抽樣比例(sampling fraction) 0.5

連結參數值ν 0.1

牛頓(Newton)求解最大迭代次數 20

牛頓求解步驟收斂容忍度(tolerence) 1e-05

強化過程分類訊息表^I：

節點
node 規則
split 個數
n 損失
loss 依變數值(機率)
value(probability) 終端
terminal
1 root 45 0.14850 1 (0.1413 0.8587) 否
2 Petal.Width< 1.55 23 0.10520 -1 (0.3642 0.6358) 否
4 Petal.Length< 4.6 15 0.00000 -1 (1.0000 0.0000) 是
5 Petal.Length>=4.6 8 0.06564 1 (0.2020 0.7980) 是
3 Petal.Width>=1.55 22 0.00000 1 (0.0000 1.0000) 是
I：僅顯示最後一次迭代的強化過程。

模式誤差值^I與Kappa值^II比較圖：

I：誤差值接近0為佳。
II：Kappa值接近1為佳，代表模式越準確。
變數重要性：

Sepal.Length Petal.Length Sepal.Width Petal.Width

0.0979 0.0891 0.0873 0.0851

觀察值與配適值(訓練樣本)比較表：(下載完整CSV檔)

樣本點編號 觀察值 配適值
1 versicolor versicolor
2 versicolor versicolor
4 versicolor versicolor
5 versicolor versicolor
6 versicolor versicolor
。
。
。
96 virginica virginica
97 virginica virginica
98 virginica virginica
99 virginica virginica
100 virginica virginica

預測v.s.觀察分類表(訓練樣本)：

Species 預測值

versicolor virginica
觀察值 versicolor 42 3
virginica 1 44
正確預測比例(對角線元素總和/所有觀察值總和)：95.56 %
測試樣本分類機率表：(下載完整CSV檔)
樣本點編號 versicolor virginica
3 0.9391 0.0609
7 0.9905 0.0095
9 0.9969 0.0031
10 0.9949 0.0051
13 0.9886 0.0114
55 0.0028 0.9972
68 0.0035 0.9965
84 0.6347 0.3653
90 0.0035 0.9965
95 0.0035 0.9965

觀察值與預測值(測試樣本)比較表：(下載完整CSV檔)

樣本點編號 觀察值 預測值
3 versicolor versicolor
7 versicolor versicolor
9 versicolor versicolor
10 versicolor versicolor
13 versicolor versicolor
55 virginica virginica
68 virginica virginica
84 virginica versicolor
90 virginica virginica
95 virginica virginica

預測v.s.觀察分類表(測試樣本)：

Species 預測值

versicolor virginica
觀察值 versicolor 5 0
virginica 1 4
正確預測比例(對角線元素總和/所有觀察值總和)：90 %

[重新分析]

影音教學內容為本系統資料處理與分析方法之操作說明，
可供使用者即時參考及線上自學，
輕鬆上手「R資料分析暨導引系統」!

變數名稱 Variable	樣本數 Count	平均數 Mean	中位數 Median	最小值 Minimum	最大值 Maximum	標準差 Std. dev.
Sepal.Length	100	6.262	6.3	4.9	7.9	0.6628
Sepal.Width	100	2.872	2.9	2	3.8	0.3328
Petal.Length	100	4.906	4.9	3	6.9	0.8256
Petal.Width	100	1.676	1.6	1	2.5	0.4248

變數名稱 Variable	變數值 Value	編碼 Coded	個數 Count
Species	versicolor	0	50
Species	virginica	1	50

損失(loss)函數	exponential
強化過程的迭代次數	50
強化(boosting)方法	discrete
抽樣比例(sampling fraction)	0.5
連結參數值ν	0.1
牛頓(Newton)求解最大迭代次數	20
牛頓求解步驟收斂容忍度(tolerence)	1e-05

節點 node	規則 split	個數 n	損失 loss	依變數值(機率) value(probability)	終端 terminal
1	root	45	0.14850	1 (0.1413 0.8587)	否
2	Petal.Width< 1.55	23	0.10520	-1 (0.3642 0.6358)	否
4	Petal.Length< 4.6	15	0.00000	-1 (1.0000 0.0000)	是
5	Petal.Length>=4.6	8	0.06564	1 (0.2020 0.7980)	是
3	Petal.Width>=1.55	22	0.00000	1 (0.0000 1.0000)	是

Sepal.Length	Petal.Length	Sepal.Width	Petal.Width
0.0979	0.0891	0.0873	0.0851

樣本點編號	觀察值	配適值
1	versicolor	versicolor
2	versicolor	versicolor
4	versicolor	versicolor
5	versicolor	versicolor
6	versicolor	versicolor
。
。
。
96	virginica	virginica
97	virginica	virginica
98	virginica	virginica
99	virginica	virginica
100	virginica	virginica

Species		預測值
Species		versicolor	virginica
觀察值	versicolor	42	3
觀察值	virginica	1	44

樣本點編號	versicolor	virginica
3	0.9391	0.0609
7	0.9905	0.0095
9	0.9969	0.0031
10	0.9949	0.0051
13	0.9886	0.0114
55	0.0028	0.9972
68	0.0035	0.9965
84	0.6347	0.3653
90	0.0035	0.9965
95	0.0035	0.9965