R에서 ICC(관찰자간,관찰자내 신뢰도 검정)하는 방법과 옵션 자세히 설명
먼저 용어부터 정리하고 시작합시다. 측정자가 A,B,C 세명 있다고 합시다. 측정자 A가 같은 측정을 두번 반복했습니다. 이때 측정자 A가 반복한 두번의 측정이 얼마나 일치하는지를 알아보는 방법을 Intraclass correlation analysis 입니다. Intra는 '내부'라는 의미입니다.
이 분석을 통해 Intraclass correlation coerricient가 구해집니다. 우리가 ICC라고 부르는 값입니다.
이 값을 통해 우리는 Intraobser reliability 를 알 수 있습니다. 평가자 내 신뢰도, 관찰자 내 신뢰도 라고 부릅니다.
여러 측정자들 사이의 신뢰도 분석도 ICC를 통해서 구하긴 하지만 ICC가 만들어진 목적은 한 측정자가 반복측정했을 때의 신뢰도를 구하는 것입니다.
여러 측정자들 사이의 신뢰도는 interobserver reliability라고 부릅니다. inter는 '사이에'라는 의미입니다. 정리해봅시다.
intra~ : 한 측정자의 반복측정 결과를 비교
inter~ : 여러 측정자의 측정결과를 비교
이제 R을 이용하여 ICC를 구해봅시다. 패키지가 사용되는데요. 두 가지 패키지가 사용됩니다. irr 패키지의 icc함수와, psych 패키지의 ICC함수입니다. 이 글에서는 irr 패키지의 내장데이터를 이용하고, 실제 분석은 psych패키지를 사용하겠습니다.
먼저 측정자간(interobserver) 분석입니다.
1. Interobserver에서 ICC구하기
설치는 아래와 같이 합니다.
install.packages("irr")
install.packages("psych")
패키지 설치가 끝나면 패키지를 불러옵니다. irr 패키지 내장데이터인 anxiety를 불러오고, mydata라는 변수에 저장합니다.
library(irr)
library(psych)
data(anxiety)
mydata=anxiety
anxiety 데이터는 세명의 측정자가 20명을 대상으로 불안평가를 한 결과입니다. 측정자간 비교 이므로 interobserber입니다.
> head(mydata)
rater1 rater2 rater3
1 3 3 2
2 3 6 1
3 3 4 4
4 4 6 4
5 5 2 3
6 5 4 2
이제 psych패키지의 ICC 함수를 이용하여 ICC를 구해봅시다. 입력 형식은 아래와 같습니다.
ICC(x,missing=TRUE,alpha=.05,lmer=TRUE,check.keys=FALSE)
missing 옵션을 TRUE로 하면, missing data가 있는 행을 제거합니다. alpha는 유의수준에도 사용되고, 신뢰구간을 구할 때도 사용됩니다. 디폴트 옵션인 0.05를 입력하면 95%신뢰구간이 구해집니다.
이제 분석을 해봅시다. 결과는 아래와 같습니다.
총 6개의 결과가 출력됩니다. Model+Type+Definition 순서입니다. ICC2가 주로 사용됩니다.
ICC1 : One-way random effects+single rater/measurement+absolute agreement
ICC2 : Two-way random effects+single rater/measurement+absolute agreement
ICC3 : Two-way mixed effects+single rater/measurement+consistency
ICC1k : One-way random effects+multiple rater/measurement+absolute agreement
ICC2k : Two-way random effects+multiple rater/measurement+absolute agreement
ICC3k : Two-way mixed effects+multiple rater/measurement+consistency
각 선택지에 대한 설명은 아래 내용을 참고하세요.
2. ICC결과의 분류
ICC결과는 크게 모델, 타입, 정의라는 각각의 선택지의 조합으로 나타납니다. 각 선택지를 결정하는데는 아래 질문들이 사용됩니다. (가이드라인 참고)
1) 모델 종류
▶One-way random effects : 각 대상마다 다른 측정자가 선택됨. 예를들어 50명의 키를 측정한다고 하면, 50명 마다 다른 측정자가 선택됨. 측정자는 측정자 거대 모집단에서 임의로 추출. (실제로 거의 없음)
▶Two-way random effects : 비슷한 성질을 가진 모집단에서 측정자를 선택한 경우(ex.경력5년의사)에 사용됨. 일반화 될 수 있음.
▶Two-way mixed effects : 특정한 측정자에 관심이 있음. 결과가 일반화 될 수 없음.
2) 타입 종류
▶Single rater/measurement :
▶The mean of k raters/measurements :
3) 정의 종류와 결정 질문
▶consistency : y=x+c인가에 관심(관계에 관심)
▶absolute agreement : y=x인가에 관심(일치하는가에 관심)
3. Intraobserver에서 ICC구하기
측정자내(Intraobserver)분석의 경우 문헌에서 2-way mixed+abosolute agreement를 추천합니다. 그런데 2-way mixed와 absolute agreement 조합은 R에서 제공하지 않습니다. ICC2와 계산식이 동일하므로 ICC2나 ICC2k를 사용하면 됩니다. 동일한 수식을 사용하는 것을 보면 해석의 차이인 것 같습니다. 일반화 여부에 대한 해석입니다. 이부분은 더 공부를 해서 보완하도록 하겠습니다.
4.
ICC 판단 기준
Cicchetti의 기준은 아래와 같습니다.
Less than 0.40—poor.
Between 0.40 and 0.59—fair.
Between 0.60 and 0.74—good.
Between 0.75 and 1.00—excellent.
Koo and Li 기준은 아래와 같습니다.
below 0.50: poor
between 0.50 and 0.75: moderate
between 0.75 and 0.90: good
above 0.90: excellent
5.
결정트리(Decision tree)
출처 : https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4913118/
좋은 문헌
https://www.medcalc.org/manual/intraclasscorrelation.php
댓글