此為社會科學中問卷調查資料常使用的分析方法,主要是用來鑑別問卷中的問題項目的可相信程度或可靠程度,故信度(Reliability)也常稱可靠度。當多人使用同一份問卷時,問項所得到答案的一致性程度越高則問卷可信度也越高,信度會有一些指標來表示高低,每個量測指標的意義也有所不同。
本方法使用之R相關套件與參考文獻:
相關套件: stats、base、rela、GPArotation、psych、Lambda4、RVAideMemoire
參考文獻:(依套件名稱排序)
R Core Team (2013). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL:http://www.R-project.org/.
Chajewski, M. (2009). rela: Scale item analysis. R package version 4.1.
Bernaards, Coen A. and Jennrich, Robert I. (2005) Gradient Projection Algorithms and Software for ArbitraryRotation Criteria in Factor Analysis, Educational and Psychological Measurement: 65, 676-696. URL:http://www.stat.ucla.edu/research/gpa
Revelle, W. (2013) psych: Procedures for Personality and Psychological Research, Northwestern University, Evanston, Illinois, USA URL:http://CRAN.R-project.org/package=psych Version = 1.4.1.
Tyler Hunt (2013). Lambda4: Collection of Internal Consistency Reliability Coefficients.. R package version 3.0. URL:http://CRAN.R-project.org/package=Lambda4
Maxime Herve (2014). RVAideMemoire: Diverse basic statistical and graphical functions. R package version 0.9-36. URL:http://CRAN.R-project.org/package=RVAideMemoire
範例F-9:
某市教育局官員想瞭解市內國中教師的導師經營成效,針對市區內共20間國中學生隨機取樣並進行問卷調查,在正式調查前須先進行問卷預試以了解問卷的可信度與有效度,預試回收後有效問卷數為400份,問卷中學生基本資料部分包含性別、學校所在地區、學生年級及學校規模等四項,問卷中有20個問題檢驗教師的導師經營成效,問卷結果記錄於下表。
表:導師經營成效問卷調查表
問卷編號
性別
地區
年級
學校規模
Q1
Q2
...
Q19
Q20
1
1
5
3
2
5
5
...
5
5
2
1
5
3
2
5
3
...
5
2
3
1
5
3
2
5
4
...
5
4
:
:
:
:
:
:
:
:
:
:
399
1
3
1
2
5
5
...
5
5
400
1
3
1
2
5
4
...
5
5
問卷說明
性別:男性(1)、女性(2)
地區:北區(1)、中區(2)、東區(3)、南區(4)、西區(5)
年級:一年級(1)、二年級(2)、三年級(3)
學校規模:30班以下(1)、31班以上(2)
Q1-Q20每個問項皆有5個選項,選項依序為很差、差、沒意見、好、很好,並量化為1-5分
Q1:
問卷的設計者通常希望問卷中每個問項能讓受試者清清楚楚的了解問題內容並正確的選擇答案,以期能鑑別出受試者間在不同背景與不同問項間的差異性,除此之外還須考慮到問卷的可信(reliability)與有效(validity)程度,此兩種不同指標程度該如何測量?
統計方法 在問卷調查分析中,要了解問卷可信與有效程度,可分成兩部分討論,一為信度分析,一為效度分析,由多變量分析中即可點選使用。
信度分析 - 分析結果
分析方法: 信度分析
資料名稱: 範例F-9
變數名稱: q1, q2, q3, q4, q5, q6, q7, q8, q9, q10, q11, q12, q13, q14, q15, q16, q17, q18, q19, q20
計算時間: 7.377秒
樣本敘述統計量I :
變數名稱 Variable
樣本數 Count
平均數 Mean
中位數 Median
最小值 Minimum
最大值 Maximum
標準差 Std. dev.
q1 400 4.2625 4 1 5 0.7938 q2 400 3.955 4 1 5 0.9111 q3 400 4.2125 4 1 5 0.8025 q4 400 4.305 4 1 5 0.8269 q5 400 4.1375 4 1 5 0.9059 q6 400 4.23 4 1 5 0.8239 q7 400 4.1325 4 1 5 0.9231 q8 400 4.06 4 1 5 0.9239 q9 400 4.01 4 1 5 0.9312 q10 400 3.7225 4 1 5 0.9914 q11 400 3.515 3 1 5 1.0428 q12 400 3.9825 4 1 5 0.9297 q13 400 3.975 4 1 5 0.9416 q14 400 4.24 4 1 5 0.8451 q15 400 4.18 4 1 5 0.8541 q16 400 4.2475 4 1 5 0.8325 q17 400 4.3525 4 1 5 0.7414 q18 400 4.2375 4 1 5 0.8141 q19 400 4.2275 4 1 5 0.8588 q20 400 4.0275 4 1 5 1.0317
I:樣本敘述統計量皆不包含遺失值
項目統計量摘要:
平均數 mean
標準差 std. dev.
最小值 Min.
最大值 Max.
項目個數 Number of items
項目平均數 4.1006 0.2048 3.515 4.3525 20
項目變異數 0.7916 0.1448 0.5496 1.0875 20
項目共變異數 0.3083 0.075 0.1519 0.5156 20
項目相關係數 0.3962 0.0977 0.1561 0.6264 20
共變異數矩陣:
q1 q2 q3 q4 q5 q6 q7 q8 q9 q10 q11 q12 q13 q14 q15 q16 q17 q18 q19 q20 q1 0.6302 0.3126 0.2248 0.1954 0.2746 0.2177 0.2584 0.2875 0.2104 0.2685 0.2103 0.2327 0.1519 0.2251 0.2559 0.2582 0.2732 0.2408 0.2334 0.2885 q2 0.3126 0.8301 0.3454 0.2844 0.2318 0.2585 0.2516 0.2884 0.2135 0.3534 0.3115 0.2874 0.1693 0.2464 0.2186 0.2493 0.1838 0.1887 0.2208 0.2719 q3 0.2248 0.3454 0.644 0.3435 0.3492 0.2944 0.3828 0.3456 0.3262 0.3473 0.2487 0.3195 0.2083 0.2221 0.3175 0.3032 0.1856 0.2251 0.2573 0.2297 q4 0.1954 0.2844 0.3435 0.6837 0.4692 0.4209 0.4357 0.3751 0.3604 0.3555 0.221 0.3362 0.2909 0.3001 0.3785 0.3404 0.2055 0.2657 0.3715 0.3099 q5 0.2746 0.2318 0.3492 0.4692 0.8206 0.432 0.5156 0.4003 0.3846 0.4017 0.1872 0.3959 0.3192 0.3278 0.4489 0.3744 0.2497 0.2856 0.3295 0.307 q6 0.2177 0.2585 0.2944 0.4209 0.432 0.6788 0.4707 0.4022 0.3837 0.3522 0.2171 0.3474 0.319 0.263 0.3795 0.3264 0.2546 0.2736 0.3335 0.2794 q7 0.2584 0.2516 0.3828 0.4357 0.5156 0.4707 0.8521 0.4858 0.4423 0.3928 0.2875 0.4234 0.3041 0.309 0.4423 0.4082 0.2614 0.3018 0.3608 0.272 q8 0.2875 0.2884 0.3456 0.3751 0.4003 0.4022 0.4858 0.8535 0.4606 0.4027 0.2723 0.4071 0.2772 0.2763 0.3776 0.3611 0.2219 0.2614 0.2846 0.2891 q9 0.2104 0.2135 0.3262 0.3604 0.3846 0.3837 0.4423 0.4606 0.8671 0.4489 0.3106 0.4187 0.3737 0.3535 0.4117 0.396 0.2471 0.3234 0.3686 0.293 q10 0.2685 0.3534 0.3473 0.3555 0.4017 0.3522 0.3928 0.4027 0.4489 0.983 0.4891 0.3711 0.3138 0.3124 0.3558 0.2844 0.2033 0.249 0.2889 0.3034 q11 0.2103 0.3115 0.2487 0.221 0.1872 0.2171 0.2875 0.2723 0.3106 0.4891 1.0875 0.3649 0.1533 0.2295 0.2755 0.2557 0.1814 0.2157 0.251 0.2715 q12 0.2327 0.2874 0.3195 0.3362 0.3959 0.3474 0.4234 0.4071 0.4187 0.3711 0.3649 0.8644 0.3329 0.2548 0.3741 0.3728 0.2844 0.3124 0.3499 0.3614 q13 0.1519 0.1693 0.2083 0.2909 0.3192 0.319 0.3041 0.2772 0.3737 0.3138 0.1533 0.3329 0.8866 0.2817 0.2652 0.2694 0.2043 0.2591 0.2588 0.2839 q14 0.2251 0.2464 0.2221 0.3001 0.3278 0.263 0.309 0.2763 0.3535 0.3124 0.2295 0.2548 0.2817 0.7142 0.4078 0.2838 0.1934 0.2261 0.241 0.1964 q15 0.2559 0.2186 0.3175 0.3785 0.4489 0.3795 0.4423 0.3776 0.4117 0.3558 0.2755 0.3741 0.2652 0.4078 0.7294 0.4365 0.2797 0.3456 0.37 0.2757 q16 0.2582 0.2493 0.3032 0.3404 0.3744 0.3264 0.4082 0.3611 0.396 0.2844 0.2557 0.3728 0.2694 0.2838 0.4365 0.693 0.311 0.332 0.3095 0.2814 q17 0.2732 0.1838 0.1856 0.2055 0.2497 0.2546 0.2614 0.2219 0.2471 0.2033 0.1814 0.2844 0.2043 0.1934 0.2797 0.311 0.5496 0.3572 0.3382 0.3261 q18 0.2408 0.1887 0.2251 0.2657 0.2856 0.2736 0.3018 0.2614 0.3234 0.249 0.2157 0.3124 0.2591 0.2261 0.3456 0.332 0.3572 0.6628 0.4095 0.3544 q19 0.2334 0.2208 0.2573 0.3715 0.3295 0.3335 0.3608 0.2846 0.3686 0.2889 0.251 0.3499 0.2588 0.241 0.37 0.3095 0.3382 0.4095 0.7376 0.4499 q20 0.2885 0.2719 0.2297 0.3099 0.307 0.2794 0.272 0.2891 0.293 0.3034 0.2715 0.3614 0.2839 0.1964 0.2757 0.2814 0.3261 0.3544 0.4499 1.0644
相關係數矩陣:
q1 q2 q3 q4 q5 q6 q7 q8 q9 q10 q11 q12 q13 q14 q15 q16 q17 q18 q19 q20 q1 1 0.4322 0.3529 0.2977 0.3818 0.3328 0.3526 0.392 0.2846 0.3412 0.2541 0.3153 0.2033 0.3355 0.3774 0.3907 0.4641 0.3725 0.3423 0.3523 q2 0.4322 1 0.4725 0.3776 0.2808 0.3444 0.2992 0.3427 0.2516 0.3912 0.3278 0.3393 0.1974 0.32 0.281 0.3287 0.2722 0.2544 0.2822 0.2893 q3 0.3529 0.4725 1 0.5178 0.4803 0.4452 0.5168 0.4662 0.4365 0.4366 0.2972 0.4283 0.2757 0.3274 0.4633 0.4538 0.3119 0.3446 0.3733 0.2775 q4 0.2977 0.3776 0.5178 1 0.6264 0.6179 0.5708 0.4911 0.468 0.4337 0.2563 0.4373 0.3736 0.4294 0.536 0.4945 0.3352 0.3948 0.5232 0.3633 q5 0.3818 0.2808 0.4803 0.6264 1 0.5787 0.6166 0.4782 0.4559 0.4472 0.1981 0.4701 0.3743 0.4282 0.5802 0.4965 0.3717 0.3872 0.4236 0.3285 q6 0.3328 0.3444 0.4452 0.6179 0.5787 1 0.6189 0.5284 0.5001 0.4312 0.2527 0.4535 0.4113 0.3777 0.5394 0.4759 0.4168 0.4079 0.4713 0.3287 q7 0.3526 0.2992 0.5168 0.5708 0.6166 0.6189 1 0.5696 0.5146 0.4292 0.2986 0.4933 0.3498 0.3961 0.561 0.5313 0.382 0.4016 0.4551 0.2857 q8 0.392 0.3427 0.4662 0.4911 0.4782 0.5284 0.5696 1 0.5354 0.4396 0.2826 0.4739 0.3186 0.3539 0.4786 0.4695 0.324 0.3476 0.3586 0.3033 q9 0.2846 0.2516 0.4365 0.468 0.4559 0.5001 0.5146 0.5354 1 0.4862 0.3199 0.4837 0.4262 0.4492 0.5177 0.5109 0.3579 0.4267 0.461 0.3049 q10 0.3412 0.3912 0.4366 0.4337 0.4472 0.4312 0.4292 0.4396 0.4862 1 0.4731 0.4026 0.3362 0.3728 0.4202 0.3446 0.2766 0.3085 0.3392 0.2966 q11 0.2541 0.3278 0.2972 0.2563 0.1981 0.2527 0.2986 0.2826 0.3199 0.4731 1 0.3764 0.1561 0.2604 0.3093 0.2945 0.2347 0.2541 0.2802 0.2524 q12 0.3153 0.3393 0.4283 0.4373 0.4701 0.4535 0.4933 0.4739 0.4837 0.4026 0.3764 1 0.3803 0.3243 0.4711 0.4816 0.4126 0.4128 0.4382 0.3768 q13 0.2033 0.1974 0.2757 0.3736 0.3743 0.4113 0.3498 0.3186 0.4262 0.3362 0.1561 0.3803 1 0.354 0.3297 0.3436 0.2927 0.338 0.3201 0.2922 q14 0.3355 0.32 0.3274 0.4294 0.4282 0.3777 0.3961 0.3539 0.4492 0.3728 0.2604 0.3243 0.354 1 0.565 0.4034 0.3087 0.3286 0.3321 0.2252 q15 0.3774 0.281 0.4633 0.536 0.5802 0.5394 0.561 0.4786 0.5177 0.4202 0.3093 0.4711 0.3297 0.565 1 0.614 0.4418 0.4971 0.5044 0.3129 q16 0.3907 0.3287 0.4538 0.4945 0.4965 0.4759 0.5313 0.4695 0.5109 0.3446 0.2945 0.4816 0.3436 0.4034 0.614 1 0.504 0.49 0.4329 0.3276 q17 0.4641 0.2722 0.3119 0.3352 0.3717 0.4168 0.382 0.324 0.3579 0.2766 0.2347 0.4126 0.2927 0.3087 0.4418 0.504 1 0.5918 0.5311 0.4264 q18 0.3725 0.2544 0.3446 0.3948 0.3872 0.4079 0.4016 0.3476 0.4267 0.3085 0.2541 0.4128 0.338 0.3286 0.4971 0.49 0.5918 1 0.5857 0.4219 q19 0.3423 0.2822 0.3733 0.5232 0.4236 0.4713 0.4551 0.3586 0.461 0.3392 0.2802 0.4382 0.3201 0.3321 0.5044 0.4329 0.5311 0.5857 1 0.5077 q20 0.3523 0.2893 0.2775 0.3633 0.3285 0.3287 0.2857 0.3033 0.3049 0.2966 0.2524 0.3768 0.2922 0.2252 0.3129 0.3276 0.4264 0.4219 0.5077 1
整體可信度量表
Cronbach's α
項目個數 Number of items
α值 α
α值標準差 Std. err. for α
α值95%信賴區間 95% C.I. for α
標準化α值 standardized α
標準化α值標準差 Std. err. for standardized α
標準化α值95%信賴區間 95% C.I. for standardized α
下界 lower
上界 upper
下界 lower
上界 upper
20 0.9273 0.0053 0.917 0.9376 0.9292 0.0051 0.9192 0.9392
Guttman λ值
項目個數 Number of items
λ1
λ2
λ3 (同α值)
λ4 (max)
λ5
λ6
20 0.881 0.9287 0.9273 0.9441 0.9057 0.9362
折半法
Cronbach's α值 :
第一部分
第二部分
α值
0.8886
0.8558
項目個數I,II,III
10
10
I:使用前後均分折半法,項目總個數為20
II:第一部分項目為q1, q2, q3, q4, q5, q6, q7, q8, q9, q10
III:第二部分項目為q11, q12, q13, q14, q15, q16, q17, q18, q19, q20
信度係數表(係數說明 ) :
折半信度係數(Correlation between halves)
0.8006
等長的Spearman-Brown係數
0.8892
不等長的Spearman-Brown係數
0.8892
Guttman-Flanagan係數
0.8884
Angoff係數
0.8893
Raju係數
0.8884
項目可信度量表:
項目名稱 item
項目刪除時的尺度平均數 Scale mean if item deleted
項目刪除時的尺度變異數 Scale variance if item deleted
修正的項目總相關 Corrected item total cor.
複相關平方 Squared multiple cor.
項目刪除時的α值 Alpha if item deleted
q1 77.75 123.1353 0.5244 0.3872 0.9252 q2 78.0575 122.4002 0.4849 0.3832 0.9262 q3 77.8 121.4085 0.6193 0.4543 0.9235 q4 77.7075 119.8014 0.6917 0.5827 0.9221 q5 77.875 118.8164 0.6769 0.5712 0.9222 q6 77.7825 119.8749 0.6902 0.5547 0.9221 q7 77.88 118.141 0.6983 0.5762 0.9217 q8 77.9525 119.1982 0.6421 0.4811 0.9229 q9 78.0025 118.6842 0.6631 0.5126 0.9225 q10 78.29 119.0335 0.6004 0.4518 0.9239 q11 78.4975 122.01 0.43 0.3118 0.928 q12 78.03 119.0467 0.6454 0.446 0.9228 q13 78.0375 122.0462 0.4841 0.3011 0.9263 q14 77.7725 121.9907 0.5517 0.4081 0.9247 q15 77.8325 119.042 0.7101 0.6027 0.9216 q16 77.765 120.0048 0.6748 0.5274 0.9224 q17 77.66 122.9317 0.5793 0.4992 0.9243 q18 77.775 121.4881 0.6048 0.4979 0.9238 q19 77.785 120.2143 0.64 0.538 0.923 q20 77.985 120.6514 0.4981 0.3499 0.9264
變數(項目)差異性檢定:
變異數分析表(ANOVA)
來源 source
平方和 sum of squares
自由度 d.f.
均方和 mean square
F檢定統計量 F-statistics
p-值 p-value
項目間(處理) Item(treatment)
318.9044
19
16.7844
34.7312
0.0000
個體間(區集) Individual(block)
2653.4469
399
6.6502
誤差 Error
3663.6456
7581
0.4833
總和 Total
6635.9969
7999
Friedman檢定
卡方檢定統計量 Chi-square statistic
自由度 d.f.
p-值 p-value
608.9699 19 0
Kendall和諧係數I
係數 coefficient
檢定統計量 statistic
p-值 p-value
0.0523 397.3391 0
I:無調整結
組內相關係數I (Intraclass correlation coefficient)
相關係數 Corr.
F統計量 F-statistic
分子自由度 d.f. of numerator
分母自由度 d.f. of denominator
p-值 p-value
95%信賴區間 95% C.I.
下界 Lower
上界 Upper
單一評分 Single rating 0.3689 12.6908 399 7600 0 0.3346 0.4066
平均評分 avarage rating 0.9212 12.6908 399 7600 0 0.9096 0.932
I:選擇模式為一因子隨機效應模式
單一項目的Kappa係數I
項目間列聯表(檢視/隱藏 )
q1 vs. q1
q1\q1 2 3 4 5 1 0 1 0 1 2 0 0 0 1 3 0 3 12 17 4 0 10 31 36 5 1 23 23 41
q2 vs. q2
q2\q2 1 2 3 4 5 1 0 0 0 0 2 2 0 0 3 1 2 3 0 4 10 18 17 4 1 3 24 28 22 5 1 2 20 20 22
Kappa係數
項目組合 items
Cohen's Kappa係數 Cohen's Kappa coefficient
Z統計量 Z statistic
P-值 p-value
q1 - q1
-0.0473
-0.8822
0.3777
q2 - q2
-0.02
-0.4024
0.6874
I:使用等權重加權各項目間的Kappa係數I
項目間列聯表(檢視/隱藏 )
q1 vs. q2
q1\q2 1 2 3 4 5 1 1 1 0 0 0 2 0 0 2 0 0 3 0 5 35 24 5 4 0 7 46 62 28 5 3 2 23 59 97
Kappa係數
項目組合 items
Cohen's Kappa係數 Cohen's Kappa coefficient
Z統計量 Z statistic
P-值 p-value
q1 - q2
0.326
9.4427
0
I:使用等權重加權多項目的Kappa係數
Kappa係數 Kappa coefficient
Z統計量 Z statistic
P-值 p-value
FleissI
0.2631
108.5534
0
LightII
0.2665
-
-
I:不使用exact法
II:使用項目過多時,檢定統計量及p值可能無法計算