[R통계분석]
Fleiss's kappa (범주형 데이터의 신뢰도분석, 3이상검사자)
신뢰도분석을 할 때, 연속형 데이터는 ICC를 사용합니다. 범주형데이터에서는 코헨의 카파와 플레이즈 카파를 사용합니다. 셋의 차이는 아래와 같습니다.
연속형 : ICC
범주형,2검사자 : Cohen's kappa
범주형,3이상검사자 : Fleiss kappa
R을 통해 Fleiss Kappa 를 구하는 방법을 알아봅시다. 먼저 예시를 소개하겠습니다.
예시에 사용할 데이터를 패키지에서 제공하기 때문에 먼저 패키지를 설치해야합니다. irr 패키지를 설치하고 불러옵시다.
>>> install.pakages("irr")
>>> library("irr")
데이터를 불러와서 md라는 변수에 저장합시다.
>>> data("diagnoses")
>>> md=diagnoses
데이터는 아래와 같습니다.
> md
rater1 rater2 rater3
1 4. Neurosis 4. Neurosis 4. Neurosis
2 2. Personality Disorder 2. Personality Disorder 2. Personality Disorder
3 2. Personality Disorder 3. Schizophrenia 3. Schizophrenia
4 5. Other 5. Other 5. Other
...
> str(md)
'data.frame': 30 obs. of 6 variables:
$ rater1: Factor w/ 5 levels "1. Depression",..: 4 2 2 5 2 1 3 1 1 5 ...
$ rater2: Factor w/ 5 levels "1. Depression",..: 4 2 3 5 2 1 3 1 1 5 ...
$ rater3: Factor w/ 5 levels "1. Depression",..: 4 2 3 5 2 3 3 3 4 5 ...
$ rater4: Factor w/ 5 levels "1. Depression",..: 4 5 3 5 4 3 3 3 4 5 ...
$ rater5: Factor w/ 5 levels "1. Depression",..: 4 5 3 5 4 3 5 3 4 5 ...
$ rater6: Factor w/ 4 levels "2. Personality Disorder",..: 3 4 4 4 3 2 4 3 3 4
...
30명의 환자를 대상으로 6명의 평가자가 각각 진단을 내린 결과입니다. 이 데이터를 이용하여 Fleiss's 카파를 구해봅시다.
> kappam.fleiss(md)
Fleiss' Kappa for m Raters
Subjects = 30
Raters = 6
Kappa = 0.43
z = 17.7
p-value = 0
Fleiss's 카파 값이 0.43이 나옵니다.
detail 옵션을 TRUE로 할 경우 각 항목별 카파를 출력해줍니다.
> kappam.fleiss(md, detail = TRUE)
Fleiss' Kappa for m Raters
Subjects = 30
Raters = 6
Kappa = 0.43
z = 17.7
p-value = 0
Kappa z p.value
1. Depression 0.245 5.192 0.000
2. Personality Disorder 0.245 5.192 0.000
3. Schizophrenia 0.520 11.031 0.000
4. Neurosis 0.471 9.994 0.000
5. Other 0.566 12.009 0.000
1에 가까울수록 신뢰도가 높은 것입니다. 판별 기준은 아래와 같은데 근거는 없습니다.
<Landis and Koch>
<0 no agreement
0-0.2 slight
0.21-0.4 fair
0.41-0.6 moderate
0.61-0.8 substantial
0.81-1 almost perfect
<Fleiss's>
<0.4 poor
0.40-0.75 fair
<0.75 excellent
댓글