首頁  |   網站導覽  |   會員登入  |  
首頁 » 分析方法 » 倒傳遞類神經網路

倒傳遞類神經網路
Backpropagation Neural Network
此方法為多層感知機類神經網路的一種，在模式學習上使用倒傳遞演算法(back propagation algorithm)，經過不斷的修正誤差，使得網路中神經元的連結值更為準確，為相當常用的模式之一。

人工類神經網路-方法簡介

本方法使用之R相關套件與參考文獻：
相關套件：stats、base、neuralnet
參考文獻：(依套件名稱排序)
  1. R Core Team (2013). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL： http://www.R-project.org/.
  2. Stefan Fritsch, Frauke Guenther and following earlier work by Marc Suling (2012). neuralnet: Training of neural networks. R package version 1.32. URL：http://CRAN.R-project.org/package=neuralnet
範例F-6：

鳶尾花(iris)資料，最早由英國統計學家費雪(R. A. Fisher, 1890 – 1962)用於多變量分析(multivariate analysis)中的判別分析(discriminant analysis)，故常稱為費雪鳶尾花資料。此資料是由美國植物學家安德生(E. S. Anderson, 1897 – 1969)所收集，故也稱為安德生鳶尾花資料。此資料記錄了鳶尾花三個亞種及其特徵，三亞種分別為山鳶尾(setosa)、變色鳶尾(versicolor)及維吉尼亞鳶尾(virginica)，花的特徵則包含花萼(sepal)與花瓣(petal)的長度與寬度。

表：鳶尾花資料
變數名稱 花萼長度 花萼寬度 花瓣長度 花瓣寬度 品種
1 5.1 3.5 1.4 0.2 setosa
2 4.9 3.0 1.4 0.2 setosa
3 4.7 3.2 1.3 0.2 setosa
： ： ： ： ： ：
150 5.9 3.0 5.1 1.8 virginica

Q2：資料中記錄有花萼與花瓣的長度與寬度以及花的亞種，且花的亞種個數已確知為3種，植物學家想了解，若未看到花的實體，僅由記錄的資料中(花萼與花瓣的長度與寬度)是否能分辨出花的亞種?當有新的紀錄資料時，能否分辨該朵花屬於何種亞種?
統計方法：問題中想利用花萼與花瓣的長度與寬度來了解該花屬於何種亞種，且亞種個數為已知，故適合使用具有分類能力的分析方法。具有分類能力的方法有許多種，如判別分析(discriminat analysis)、決策樹(decision tree)或是類神經網路(neural network)，以下列出適用於此鳶尾花資料的方法，使用者可比較在相同的目的下，不同分析方法所獲得結果的差異性。
分類模式
決策樹 判別分析 類神經網路 其它分類方法
分類與迴歸樹(CART) 判別分析
(Discriminant Analysis)		 單一隱藏層
Feed Forward網路(NNET)		 支援向量機器
(Support Vector Machine)
快速不偏有效統計樹(QUEST) 多層感知機網路(MLP) K最近鄰演算法
(K-Nearest Neighbors Algorithm)
卡方自動交互檢視法(CHAID) 輻射基底類神經網路( RBF ) 單純貝式分類器
(Naïve Bayesian Classifier)
C5.0法 機率類神經網路(PNN) 適應型強化分類法
(Adaptive Boosting)
隨機森林法(Random Forest)
倒傳遞類神經網路 - 分析結果
  • 分析方法：倒傳遞類神經網路
  • 資料名稱：範例F-6
  • 依變數名稱：Species
  • 自變數名稱：Sepal.Length, Sepal.Width, Petal.Length, Petal.Width
  • 計算時間：15.646秒

  • 變數訊息I：
    數值變數(numerical)
    變數名稱
    Variable    		 樣本數
    Count    		 平均數
    Mean    		 中位數
    Median    		 最小值
    Minimum    		 最大值
    Maximum    		 標準差
    Std. dev.
    Sepal.Length1505.84335.84.37.90.8281
    Sepal.Width1503.0573324.40.4359
    Petal.Length1503.7584.3516.91.7653
    Petal.Width1501.19931.30.12.50.7622

    類別變數(categorical)
    變數名稱
    Variable    		 變數值
    Value    		 編碼
    Coded    		 個數
    Count
    Speciessetosa050
    versicolor150
    virginica250
    I：變數訊息皆不包含遺失值
  • 模式訊息：
    訓練次數 1
    訓練過程最大週期 500000
    學習速率 0.001
    誤差計算方式 平方和
    神經元轉換函數 邏輯斯函數

  • 模式診斷：
    訓練次數1
    最小誤差22.2561
    門檻值0.01
    迭代次數(收斂)57796
    AICI114.5123
    BICII216.1969
    I：Akaike Information Criterion
    II：Bayesian Information Criterion

    		訓練次數I,II： 1(best)
    I：訓練次數超過一次以上，請於右邊點選觀看不同訓練結果
    II：(best)表示最小誤差的訓練結果，系統認定為最佳模式

  • 神經網路起始權重關係表：
    輸入層對隱藏層1
    hidden 1hidden 2hidden 3hidden 4
    (偏差項)-0.0576-0.07760.1383-0.5439
    Sepal.Length-0.0748-1.8189-0.051-1.7289
    Sepal.Width1.5099-1.03741.85210.4707
    Petal.Length1.61990.30251.11170.0054
    Petal.Width1.1532-1.2779-0.51141.348
    隱藏層1對輸出層
    setosaversicolorvirginica
    (偏差項)0.7241-0.72020.4975
    hidden 11.55250.282-0.8144
    hidden 21.3255-0.79050.2681
    hidden 3-0.0343-0.4449-0.5922
    hidden 4-0.3611.3652.1335

  • 神經網路權重關係表：
    輸入層對隱藏層1
    hidden 1hidden 2hidden 3hidden 4
    (偏差項)-0.0417-0.07820.132-0.7509
    Sepal.Length0.0023-1.8229-0.0707-0.6615
    Sepal.Width1.5429-1.03881.8278-1.4385
    Petal.Length1.66280.29881.1312.7353
    Petal.Width1.1657-1.2791-0.50252.132
    隱藏層1對輸出層
    setosaversicolorvirginica
    (偏差項)0.3333-0.38780.7413
    hidden 11.13410.6348-0.5659
    hidden 21.3257-0.78970.267
    hidden 3-0.4518-0.2518-0.1863
    hidden 4-1.01850.51040.508

  • 神經網路權重關係圖：

  • 神經網路權重信賴區間下界表：
    輸入層對隱藏層1
    hidden 1hidden 2hidden 3hidden 4
    (偏差項)-1.5903-0.2329-0.5969-25.6906
    Sepal.Length-1.7345-2.2186-0.8159-7.2408
    Sepal.Width-0.7074-1.4568-0.216-3.7075
    Petal.Length0.5373-0.8540.0772-0.1553
    Petal.Width-0.0292-1.9841-3.9428-4.6755
    隱藏層1對輸出層
    setosaversicolorvirginica
    (偏差項)-25.6655-26.5013-26.3765
    hidden 1-1.7342-0.6286-2.7781
    hidden 20.2032-1.8079-0.6741
    hidden 3-25.1185-26.3408-26.135
    hidden 4-1.04050.40360.4017

  • 神經網路權重信賴區間上界表：
    輸入層對隱藏層1
    hidden 1hidden 2hidden 3hidden 4
    (偏差項)1.50690.07640.860924.1888
    Sepal.Length1.7392-1.42730.67465.9178
    Sepal.Width3.7932-0.62083.87150.8306
    Petal.Length2.78821.45172.18485.6259
    Petal.Width2.3607-0.57412.93778.9396
    隱藏層1對輸出層
    setosaversicolorvirginica
    (偏差項)26.33225.725727.8592
    hidden 14.00241.89821.6463
    hidden 22.44820.22851.2082
    hidden 324.214925.837125.7625
    hidden 4-0.99640.61730.6143

  • 最佳模式觀察值與配適值(訓練樣本)比較表：(下載完整CSV檔)
    樣本點編號觀察值配適值
    1setosasetosa
    2setosasetosa
    3setosasetosa
    4setosasetosa
    5setosasetosa
    。
    。
    。
    146virginicaversicolor
    147virginicaversicolor
    148virginicaversicolor
    149virginicaversicolor
    150virginicaversicolor

  • 最佳模式預測v.s.觀察分類表(訓練樣本)：
    Species 預測值
    setosaversicolorvirginica
    觀察值setosa4600
    versicolor0450
    virginica0440
    正確預測比例(對角線元素總和/所有觀察值總和)：67.41 %

  • 最佳模式觀察值與預測值(測試樣本)比較表：(下載完整CSV檔)
    樣本點編號觀察值預測值
    15setosasetosa
    35setosasetosa
    38setosasetosa
    40setosasetosa
    58versicolorversicolor
    。
    。
    。
    114virginicaversicolor
    115virginicaversicolor
    120virginicaversicolor
    122virginicaversicolor
    140virginicaversicolor

  • 最佳模式預測v.s.觀察分類表(測試樣本)：
    Species 預測值
    setosaversicolorvirginica
    觀察值setosa400
    versicolor050
    virginica060
    正確預測比例(對角線元素總和/所有觀察值總和)：60 %

[重新分析]
影音教學內容為本系統資料處理與分析方法之操作說明，
可供使用者即時參考及線上自學，
輕鬆上手「R資料分析暨導引系統」!

步驟一：資料匯入
選擇要進行分析的資料檔或上傳檔案
您所選擇的資料檔為：
  
使用已儲存模式I對資料進行分類預測
I：對樣本資料進行訓練後可儲存模式，並對新增資料進行分類預測